长文本问答实证研究：学习型上下文规划为何难以超越强检索基线
该论文针对长文本多项选择问答任务，系统测试了学习型上下文规划在强检索、路由、预算选择和重排序控制下的有效性。研究人员基于LongBench-v2的503道多选题目，使用Qwen2.5-7B-Instruct模型进行了对照诊断。结果显示，在18k字符的预算约束下，锚定混合检索可达到36.18%的准确率，揭示了复杂的上下文规划在面临强检索基线时的局限性与表现瓶颈。
DC AI 热点
全部 AI 动态
9月24日2026-09-24
NADI 2026：第二届多方言阿拉伯语语音处理共享任务发布
NADI 2026 是精细阿拉伯语方言识别（NADI）系列的第七届共享任务，也是第二次专注于多方言阿拉伯语语音处理的评测。本届任务包含五项核心任务与八个子任务，覆盖自动语音识别（ASR）、方言识别（SDID）、语音合成（TTS）、语音翻译（SLT）和口语理解（SLU）。该评测重点关注低带宽、混合方言、语码转换、域外及零样本等真实场景，并首次在该系列中引入了 TTS、SLT 和 SLU 赛道。
超越重叠：评估基准数据泄露对模型性能因果效应的LeakScale框架
训练数据包含评测基准只能证明存在接触，却无法量化这种接触对评测表现的具体影响程度。为此，研究人员提出了干预性评估框架 LeakScale。该框架通过构建包含私有特定信息、且无法从公开任务中推导的新可执行任务，严格控制对这些信息的访问，从而利用反事实方法量化基准数据泄露对模型评测得分造成的实际因果影响。
PRISM-VLM：面向紧凑型视觉语言模型的多维度判别评测基准
针对现有评测基准多沿袭前沿大模型设计、导致紧凑型视觉语言模型难以拉开区分度的问题，研究人员推出了 PRISM-VLM 评测基准。该基准围绕轻量级多模态模型的常见失效模式，从任务质量、行为鲁棒性和能力瓶颈等七个关键维度对每个评测样本进行综合打分，并将其融合为单一的 PScore 指标，从而更精确、精细地评估紧凑型多模态模型的真实表现与局限性。
评估代码智能体内核漏洞利用能力：安全评测基准 KEX-bench 发布
尽管代码智能体现已能在生产软件中发现实际漏洞，但漏洞挖掘成果并不等同于构建漏洞利用原语的能力。为此，研究团队推出了用于评估代码智能体针对真实操作系统内核生成利用原语的基准 KEX-bench。该基准涵盖 40 个 Linux 与 Windows 真实 CVE 的 45 个任务实例，涉及内核地址泄露、指令指针控制和任意地址读写等场景，并在隔离虚拟机环境中借助确定性验证器评估智能体的利用能力。
HappyWorld-Bench：面向世界模型的统一评估基准
当前 AI 领域对世界模型的研发关注度持续攀升，针对各类模型缺乏通用度量标准的问题，HappyWorld-Bench 尝试推出一套统一的评测基准，旨在系统化衡量不同世界模型的表现与能力。由于输入素材仅包含标题，正文信息不足，关于该基准的具体评测指标、涵盖任务场景、评估数据集规模及首批模型测试结果等详细细节仍有待进一步补充说明。