PRISM-VLM:面向紧凑型视觉语言模型的多维度判别评测基准
针对现有评测基准多沿袭前沿大模型设计、导致紧凑型视觉语言模型难以拉开区分度的问题,研究人员推出了 PRISM-VLM 评测基准。该基准围绕轻量级多模态模型的常见失效模式,从任务质量、行为鲁棒性和能力瓶颈等七个关键维度对每个评测样本进行综合打分,并将其融合为单一的 PScore 指标,从而更精确、精细地评估紧凑型多模态模型的真实表现与局限性。
针对现有评测基准多沿袭前沿大模型设计、导致紧凑型视觉语言模型难以拉开区分度的问题,研究人员推出了 PRISM-VLM 评测基准。该基准围绕轻量级多模态模型的常见失效模式,从任务质量、行为鲁棒性和能力瓶颈等七个关键维度对每个评测样本进行综合打分,并将其融合为单一的 PScore 指标,从而更精确、精细地评估紧凑型多模态模型的真实表现与局限性。
针对大模型推理加速,现有并行投机解码(PSD)虽能重叠草稿生成与验证过程,但往往依赖对接受前缀和额外标记的预先猜测,猜错会导致批处理回退至低效的串行起草。论文提出 DPara 框架,在复用高效并行草稿器的同时,确保目标模型验证与起草阶段在每一轮均实现重叠,彻底消除了概率性回退缺陷,保障了投机解码流水线的高效利用。注:素材末尾存在文本截断。
针对医学系统评价中数据提取高度依赖人工且必须遵循严格协议与可审计要求的痛点,研究团队推出了开源、无代码的 Web 平台 EviStreams。该平台引入人在回路的大语言模型辅助机制,不仅契合双人独立提取、裁决仲裁的标准审查流程,还能记录完整的数据生成审计日志,使科研团队在关键阶段自主把控 AI 提取过程,显著缓解临床指南研制中的专家人力瓶颈。
针对现代大语言模型因海量预训练数据导致基准泄露、评估可靠性受损的问题,以及基座模型因指令遵循能力受限而难以通过任务型标准评估的挑战,研究人员提出了 Uncheatable Eval。该动态基准通过定期采集最新发布的文本来评估基座语言模型,以规避数据污染风险,并利用模型预测能力与文本压缩能力之间的关联设计评估机制。原摘要在方法细节处截断。
针对泰语缺乏用于定量句法研究的大规模自动解析语料库的问题,研究团队推出了 ThaiTrees。该语料库规模达 3.42 亿词元(tokens),涵盖新闻、维基百科、口语转录及社交媒体等多个领域。此外,研究人员在通用依存(Universal Dependencies)框架下构建了一套可复现的泰语文本清洗、预处理和句法解析流水线,为泰语的定量句法分析和语言学研究提供了有力的数据支撑。