终端基准测试何以称“难”？研究揭示智能体评测中的“真假难度”陷阱
前沿基准测试常依赖当前模型无法解决的任务来衡量能力边界，但零通过率并不等同于真正的高难度。该研究指出，任务全军覆没既可能源于真实的能力代差，也可能是由缺失上下文、损坏的参考方案或基础设施故障等“虚假难度”导致。基于 Terminal-Bench 3 等基准中涵盖 639 个任务、2.8 万余次试验及逾 10 万美元开销的真实记录，研究系统性厘清了导致智能体任务失败的本质原因，为评测体系纠偏。
DC AI 热点
精选
当前热点完整榜单 →
1Black Forest Labs 推出开源具身智能模型 FLUX 3 Action77 热度 ⌁2谷歌、OpenAI与Anthropic拟联合组建AI安全标准自律组织SAFA75 热度 ⌁3谷歌云 API Gateway 支持 MCP：将 REST API 原生转化为 AI Agent 工具75 热度 ⌁4Sakana AI聘请AI先驱Jürgen Schmidhuber担任首席科学顾问75 热度 ⌁5Agent Plugins 1.0.0 发布：科技巨头联手推跨平台 Agent 技能与 MCP 打包规范73 热度 ⌁9月24日2026-09-24
CELLAUDIT：用于审查智能体发现细胞模型中输入有效性的审计框架
针对 AI 虚拟细胞模型在预测生物干预响应时可能并未真正利用输入信息的“预测-主张差距”，研究团队提出了审计框架 CELLAUDIT。在大模型智能体自动发现和迭代预测模型的场景下，CELLAUDIT 从源码计算路径、拟合依赖性以及实际预测贡献三个维度切入，系统性验证模型对输入扰动信息的使用主张是否属实，以确保智能体生成的科学预测模型具备真正的因果有效性和可靠性。