终端基准测试何以称“难”？研究揭示智能体评测中的“真假难度”陷阱
前沿基准测试常依赖当前模型无法解决的任务来衡量能力边界，但零通过率并不等同于真正的高难度。该研究指出，任务全军覆没既可能源于真实的能力代差，也可能是由缺失上下文、损坏的参考方案或基础设施故障等“虚假难度”导致。基于 Terminal-Bench 3 等基准中涵盖 639 个任务、2.8 万余次试验及逾 10 万美元开销的真实记录，研究系统性厘清了导致智能体任务失败的本质原因，为评测体系纠偏。
推荐理由通过大规模实证分析揭示了智能体基准评测中零通过率背后的工程与设计缺陷，对规范 Agent 评估体系具有重要参考意义。
原标题：What Makes a Terminal-Bench Task Hard? Separating Genuine Hardness from Fake-Hardness on an Adjudicated Agentic Corpus
阅读 arXiv 机器学习 原文 ↗