超越重叠：评估基准数据泄露对模型性能因果效应的LeakScale框架
训练数据包含评测基准只能证明存在接触，却无法量化这种接触对评测表现的具体影响程度。为此，研究人员提出了干预性评估框架 LeakScale。该框架通过构建包含私有特定信息、且无法从公开任务中推导的新可执行任务，严格控制对这些信息的访问，从而利用反事实方法量化基准数据泄露对模型评测得分造成的实际因果影响。
DC AI 热点
全部 AI 动态
9月24日2026-09-24
Uncheatable Eval：基于动态压缩机制的语言模型防污染评估基准
针对现代大语言模型因海量预训练数据导致基准泄露、评估可靠性受损的问题，以及基座模型因指令遵循能力受限而难以通过任务型标准评估的挑战，研究人员提出了 Uncheatable Eval。该动态基准通过定期采集最新发布的文本来评估基座语言模型，以规避数据污染风险，并利用模型预测能力与文本压缩能力之间的关联设计评估机制。原摘要在方法细节处截断。