精选

终端基准测试何以称“难”？研究揭示智能体评测中的“真假难度”陷阱

前沿基准测试常依赖当前模型无法解决的任务来衡量能力边界，但零通过率并不等同于真正的高难度。该研究指出，任务全军覆没既可能源于真实的能力代差，也可能是由缺失上下文、损坏的参考方案或基础设施故障等“虚假难度”导致。基于 Terminal-Bench 3 等基准中涵盖 639 个任务、2.8 万余次试验及逾 10 万美元开销的真实记录，研究系统性厘清了导致智能体任务失败的本质原因，为评测体系纠偏。