超越重叠：评估基准数据泄露对模型性能因果效应的LeakScale框架
训练数据包含评测基准只能证明存在接触，却无法量化这种接触对评测表现的具体影响程度。为此，研究人员提出了干预性评估框架 LeakScale。该框架通过构建包含私有特定信息、且无法从公开任务中推导的新可执行任务，严格控制对这些信息的访问，从而利用反事实方法量化基准数据泄露对模型评测得分造成的实际因果影响。
DC AI 热点
精选
当前热点完整榜单 →
1Black Forest Labs 推出开源具身智能模型 FLUX 3 Action78 热度 ⌁2谷歌、OpenAI与Anthropic拟联合组建AI安全标准自律组织SAFA76 热度 ⌁3谷歌云 API Gateway 支持 MCP：将 REST API 原生转化为 AI Agent 工具76 热度 ⌁4Sakana AI聘请AI先驱Jürgen Schmidhuber担任首席科学顾问76 热度 ⌁5Agent Plugins 1.0.0 发布：科技巨头联手推跨平台 Agent 技能与 MCP 打包规范74 热度 ⌁9月24日2026-09-24
Uncheatable Eval：基于动态压缩机制的语言模型防污染评估基准
针对现代大语言模型因海量预训练数据导致基准泄露、评估可靠性受损的问题，以及基座模型因指令遵循能力受限而难以通过任务型标准评估的挑战，研究人员提出了 Uncheatable Eval。该动态基准通过定期采集最新发布的文本来评估基座语言模型，以规避数据污染风险，并利用模型预测能力与文本压缩能力之间的关联设计评估机制。原摘要在方法细节处截断。