TWIST：针对对话记忆系统干预质量的新型评测基准
该研究提出了对话记忆评测基准套件 TWIST，旨在评估记忆系统在用户信念发生改变时是否能正确执行干预操作。针对现有长对话基准主要测试召回率和被动知识更新的局限，TWIST 设立了四大评估维度：主动张力检测、依据历史记录审查输出草案、在回答当前信念的同时保留历史变更记录，以及对敏感召回的治理控制。该套件基于 LoCo 进行了扩展，并引入了经人工验证的草案对齐机制。
DC AI 热点
全部 AI 动态
9月25日2026-09-25
在世界模型中训练客体永久性认知能力
客体永久性和固体性是人类认知的核心先验。针对视频生成模型作为代表性世界模型是否已涌现客体永久性认知这一问题，研究团队推出了WROP数据基础设施。该基准受核心认知科学启发，包含手工设计的150个任务，细分为六大认知类别，旨在探究并训练视频生成模型的物理推理能力，从而推动构建具备类人物理智能的世界模型。
RECLAIM基准：评估AI智能体复现机器学习论文研究结果的能力
该研究提出了名为RECLAIM的新基准测试，旨在评估AI智能体能否复现机器学习论文的核心研究结论。基准选取了100篇NeurIPS 2025论文，预先设定了待复现结果、成功复现判定标准以及GPU运行时间预算。根据原作者开源内容的完整度，基准设立了不同难度层级，测试智能体在软件安装、代码调试及运行实验等完整科研工作流中的自动化复现能力。
Forecast-Dojo：用于大模型预测智能体评测与训练的可回放环境
研究人员推出了名为Forecast-Dojo的可回放环境，专门用于基准测试和训练大语言模型预测智能体。该环境将已公布结果的预测市场问题与带时间戳的历史新闻相结合，允许智能体在连续的历史时间节点检索事件并动态调整预测，无需等待未来事件即可完成评估、交互数据收集与结果反馈。系统包含1568个Polymarket事件及1880万篇带日期的新闻文章，并对12个模型进行了评估测试。
硬预算重复评测中真实不确定性的理论界限研究
该研究探讨了在硬预算约束下，通过重复评测来准确估计基准测试分数并确保较低不确定性的理论极限。研究在固定任务网格和响应成本限制的框架下，推导出了在完全观察与允许遗漏两种情况下，最差纯群组的最优期望区间宽度理论界限。该理论下界同样适用于自适应硬预算策略，为机器学习模型的基准评测设计与置信度验证提供了严格的理论依据。
9月24日2026-09-24
对话式AI分层参与度评估框架：从离线代理到在线决策
针对在线A/B测试受流量和周期限制、难以覆盖大量对话式AI迭代的问题，研究者提出了一种分层参与度评估框架。该研究构建了一套可复用的诊断清单，将离线代理指标解构为三层对齐链条：行为标签与产品结果对齐、分类器与候选助手行为对齐，以及离线聚合信号与在线实验效应相对应。配套评估协议旨在离线环境下无须真实用户暴露即可高精度预测在线实验结果，加速系统迭代。
ShowTellArena：评估智能体从业务演示中理解工作流能力的基准数据集
研究人员提出了 ShowTellArena，这是一个用于评估智能体在观看带有口述解说的业务演示后其理解能力的基准测试协议与公开数据集。该基准模拟了人类通过“边演示边讲解”指导新同事的场景。v1.0 版本涵盖财务、招聘、采购、客户决策、库存和物流等领域的 50 个业务工作流任务，包含屏幕录像、截图、旁白解说及 502 道评估试题，旨在系统性测试智能体对复杂商业流程的掌握水平。
评估代码智能体内核漏洞利用能力：安全评测基准 KEX-bench 发布
尽管代码智能体现已能在生产软件中发现实际漏洞，但漏洞挖掘成果并不等同于构建漏洞利用原语的能力。为此，研究团队推出了用于评估代码智能体针对真实操作系统内核生成利用原语的基准 KEX-bench。该基准涵盖 40 个 Linux 与 Windows 真实 CVE 的 45 个任务实例，涉及内核地址泄露、指令指针控制和任意地址读写等场景，并在隔离虚拟机环境中借助确定性验证器评估智能体的利用能力。
针对利益冲突环境，新基准CAVEAT评估计算机使用智能体鲁棒性
随着计算机使用智能体（CUA）日益广泛地代表用户执行在线操作，当所处环境的利益激励与用户目标不一致（如电商平台倾向于推荐特定商品而诱导智能体偏离目标）时，智能体表现面临新挑战。现有基准多局限于合作场景或显式攻击，忽略了环境自身存在利益诉求的情况。为此，研究团队推出了受控基准测试 CAVEAT，涵盖 9 个市场环境及相关分类法，专门评估智能体在利益错位环境下的目标坚守能力。
PotARCin：多维度评估抽象推理任务技能习得的新基准
该研究针对人工智能在抽象推理基准ARC中仅评估单一网格生成能力的局限性，提出了新型评估基准PotARCin。研究人员指出，传统的单一测试格式无法充分衡量模型是否真正掌握了抽象技能。为此，PotARCin从任务底层抽象规则的理解出发，在定义、分类、约束生成和编辑等五个维度上对模型进行综合评测，以更全面地检验AI模型的通用抽象推理能力与流动智力。
MolDesignBench：面向真实场景分子设计任务的LLM智能体评估基准
真实环境下的分子设计对大语言模型智能体提出了极高要求，需要其理解复杂上下文、满足多重约束并进行多步工具推理。针对现有基准偏向狭窄约束和单一路径的问题，研究人员提出了MolDesignBench。该基准紧密贴合实际分子设计场景，可系统评估工具增强型LLM智能体在处理多约束、不可行规范识别及多步工具调用下的综合推理与设计能力。