开源实验探讨AI智能体能否绕过后量子签名授权策略
开发者在GitHub开源了MAX_AUTHORIZATION_SANDBOX项目，旨在测试和评估AI智能体是否能够绕过后量子加密签名的授权策略沙盒环境。该实验聚焦于前沿加密算法与自主智能体权限控制之间的攻防对抗。素材仅提供了项目代码仓库链接，关于具体的攻击测试向量、后量子算法实现细节及测试结果等详细信息尚待进一步披露。
DC AI 热点
全部 AI 动态
9月25日2026-09-25
什么是 LLM-as-a-Judge 及其工作原理解析
该文章介绍了“大模型作为裁判”（LLM-as-a-Judge）的核心概念及其运作机制。作为一种自动化评估方法，LLM-as-a-Judge 利用能力更强的大语言模型对其他模型生成的输出质量、相关性和逻辑性进行评分与评测，以替代或辅助成本较高的人工评估。因素材未提供更多正文细节，具体实现案例与深入对比详见原文。
大语言模型辩论行为基准测试：针对人身攻击防御能力的研究
该研究聚焦于大语言模型在说服性对话中作为辩论智能体的表现，重点评估其在面对人身攻击（诉诸人身论证）时的应对能力。在政治等说服性对话场景中，人格可信度与命题内容同样关键。研究通过分析自然语言政治对话语料库，探究现代大模型能否复现人类在策略性运用和防御人身攻击方面的辩论水准，旨在系统评估模型在复杂对话情境中的辩论与说服能力。
知识追踪模型的可解释性与稳定性验证研究
该研究针对知识追踪（KT）模型黑盒预测导致难以有效指导教学实践的问题，提出了一套综合验证协议。该协议系统评估了模型的预测竞争力、解释稳定性以及基于重新训练的忠实度。研究基于ASSISTments 2009和2012数据集，围绕五个教学主题构建了13个行为特征，并修正重建了原始数据集中存在技能构建重复记录的问题，为教育AI模型的可解释性评估提供了更可靠的基准。
基于伪造语料微调检验模型置信度与知识一致性的开源工具包技术手册
语言模型对答案的置信度通常被视为其掌握事实程度的代理指标。该技术手册介绍了一个专门用于直接检验该假设的开源工具包。研究团队通过在包含81个个位数加法虚假答案的伪造语料库上微调小型因果语言模型，并在微调前后使用统一的测量流程，定量对比模型对虚假答案与真实答案的置信度演变。手册详细阐述并论证了该评估流水线的各个构建阶段。
TWIST：针对对话记忆系统干预质量的新型评测基准
该研究提出了对话记忆评测基准套件 TWIST，旨在评估记忆系统在用户信念发生改变时是否能正确执行干预操作。针对现有长对话基准主要测试召回率和被动知识更新的局限，TWIST 设立了四大评估维度：主动张力检测、依据历史记录审查输出草案、在回答当前信念的同时保留历史变更记录，以及对敏感召回的治理控制。该套件基于 LoCo 进行了扩展，并引入了经人工验证的草案对齐机制。
在世界模型中训练客体永久性认知能力
客体永久性和固体性是人类认知的核心先验。针对视频生成模型作为代表性世界模型是否已涌现客体永久性认知这一问题，研究团队推出了WROP数据基础设施。该基准受核心认知科学启发，包含手工设计的150个任务，细分为六大认知类别，旨在探究并训练视频生成模型的物理推理能力，从而推动构建具备类人物理智能的世界模型。
礼貌却未对齐：基于人类语用规范评估大语言模型的礼貌度判断
该论文评估了大语言模型在社交语用学层面是否与人类的礼貌判断相符。研究人员采用包含连续评分和三分类标注的两个英语数据集，对七个主流模型进行了测试。结果显示，模型之间的一致性显著高于模型与人类之间的一致性。策略层面的分析表明，模型与人类判断的对齐主要依赖于显式的语言线索，而在涉及建立融洽关系等隐式语用策略上仍存在理解偏差。
RECLAIM基准：评估AI智能体复现机器学习论文研究结果的能力
该研究提出了名为RECLAIM的新基准测试，旨在评估AI智能体能否复现机器学习论文的核心研究结论。基准选取了100篇NeurIPS 2025论文，预先设定了待复现结果、成功复现判定标准以及GPU运行时间预算。根据原作者开源内容的完整度，基准设立了不同难度层级，测试智能体在软件安装、代码调试及运行实验等完整科研工作流中的自动化复现能力。
Forecast-Dojo：用于大模型预测智能体评测与训练的可回放环境
研究人员推出了名为Forecast-Dojo的可回放环境，专门用于基准测试和训练大语言模型预测智能体。该环境将已公布结果的预测市场问题与带时间戳的历史新闻相结合，允许智能体在连续的历史时间节点检索事件并动态调整预测，无需等待未来事件即可完成评估、交互数据收集与结果反馈。系统包含1568个Polymarket事件及1880万篇带日期的新闻文章，并对12个模型进行了评估测试。
研究揭示思维链前缀指令或导致视觉语言模型答案解码失效
最新研究探讨了视觉语言模型（VLM）在多项选择评测中存在的解码陷阱。当评测系统追加思维链（CoT）推理提示，却在模型生成完整推理过程前直接读取答案标签的对数几率时，会导致严重的评估失真。实验显示，Qwen2.5-VL-7B在ScienceQA任务上的准确率从80.76%骤降至45.48%，且超93%的预测倾向于选择首个选项。探针测试证实隐藏层仍保留正确答案，表明失效源于不当的即时读取机制。
R语言工具包fable.intermittent发布：用于间歇性时间序列的概率预测基准测试
针对备件需求与零售销售中常见的间歇性时间序列，由于预测误差成本通常不对称，库存控制等决策需要完整的概率分布而非单点预测。此前相关方法分散于不同软件框架中难以系统比较，该研究推出了R语言工具包fable.intermittent。该工具包在fable框架下集成了多种针对间歇性序列的概率预测方法，为相关领域的算法开发与标准化性能比对提供了统一工具。
大模型自动批卷的成败边界：两门计算机考试的实证研究
一项来自学术界的新研究评估了大语言模型（LLM）用于高校考试自动评分的可靠性与局限。研究团队在包含570名学生的计算机视觉考试上测试了开源与闭源模型的171种配置。结果显示，最优模型的平均绝对误差达到1.64/35，甚至优于两位人类评分员之间2.61/35的分歧水平。然而实验发现模型对提示词极度脆弱：加入一句简短的“严格评分”提示，便导致17个开源模型中的14个评分严重失常，甚至有模型直接停止评分。
大模型评估研究：似然排序在规模扩展表现上不同于提示词方法
该研究探讨了大语言模型（LLM）的评估方法。在多项选择问答任务中，常规基于似然的评分与提示词方法类似均依赖任务上下文。研究团队提出了一种基于问答对构建的陈述句进行似然排序的补充评估协议。通过对95个参数量从1亿到1040亿的仅解码器模型在10个多选题数据集上的测试，系统对比并揭示了似然排序与提示词方法在模型规模扩展表现上的差异。
受控实验复检极小规模三值语言模型：基线架构设置主导性能评估结论
该研究针对微控制器级的三值（1.58-bit）权重语言模型进行了严格的受控复验。此前有研究称混合路由三值模块在6万参数规模下性能超越参数匹配的全精度Transformer达22%，并归因于归纳偏置。研究人员通过固定训练配方、多随机种子及98次测试进行复查，发现基线Transformer的具体结构形状对性能起主导作用，揭示了此前结论可能受基线设计差异误导，强调了极小模型对比的评估规范。
硬预算重复评测中真实不确定性的理论界限研究
该研究探讨了在硬预算约束下，通过重复评测来准确估计基准测试分数并确保较低不确定性的理论极限。研究在固定任务网格和响应成本限制的框架下，推导出了在完全观察与允许遗漏两种情况下，最差纯群组的最优期望区间宽度理论界限。该理论下界同样适用于自适应硬预算策略，为机器学习模型的基准评测设计与置信度验证提供了严格的理论依据。
嵌入式AI安全评估的核心领域与实施方法初探
该内容探讨了第三方机构在进行嵌入式安全评估时应重点监测的关键风险领域，并提出了一套初步的评估与应对方法建议。文章旨在为外部监督与安全评测提供框架参考，帮助相关机构识别和防范模型在实际应用中潜藏的安全风险。由于目前披露信息较为有限，具体涉及的技术指标与评估流程仍需结合后续完整方案做进一步分析。
Transluce 发布 AI 心理健康评估基准，涵盖 77 款模型变体
Transluce 宣布推出一项全新的 AI 心理健康评估基准。该研究评估了 77 个 AI 系统变体在应对模拟经历自杀意念、精神病和躁狂症等心理危机用户时的反应，测试范围覆盖 14 种与心理健康相关的行为。该评估旨在系统衡量主流模型在识别和处理高风险心理健康问题时的安全边界与支持能力。
Anthropic 发布指南：如何构建 AI 原生型销售与营收组织
Anthropic 发布针对营收团队负责人的落地指南，详细阐述了如何在销售组织中全面推广和部署 Claude。该指南涵盖前期的配置决策、三阶段实施推广方案，以及衡量 AI 投资回报率（ROI）的评估框架，旨在帮助企业系统化推进大语言模型在销售全流程中的实际落地与效能转化。
全面文档提取基准 ExtractBench 发布：覆盖370份企业文档与14款系统
ExtractBench 正式推出，被定义为目前最全面的文档信息提取基准。该基准涵盖 370 份企业真实文档，围绕准确性、完整性、真实可溯源性（Grounding）以及使用成本等关键维度，对 14 个主流提取系统进行了深入评测与对比打分，旨在为企业级文档解析与自动化信息提取场景提供标准化、多维度的评估参考。
解析测试工具工程：如何评估、迭代与防护 AI 编程智能体
针对 AI 编程智能体评估体系展开探讨。虽然 SWE-bench 等端到端基准能衡量智能体的综合性能，但存在耗时长、成本高且难以定位具体逻辑失效节点的问题。文章提出应引入行为评估机制，即采用快速、本地的单元化测试，针对工具调用、文件修改等中间行为进行断言校验。通过将微观检查与宏观基准相结合，工程团队可以低成本、高置信度地迭代提示词和升级模型，有效预防功能回退。
9月24日2026-09-24
AI 评估（AI Evals）全面指南与常见问题解析
该内容源自知名从业者博客，旨在为开发者提供关于“AI 系统评估（AI Evals）”的全面指南与常见问题解答，涵盖构建可靠 AI 应用所需的评测知识。由于原始素材仅提供了文章标题与链接，具体涉及的评估框架、实施指标和实践细节未在摘要中体现，需查阅原文获取详细内容。
大模型在多语言亲属称谓上“能识别却难生成”：文化特定词汇生成基准研究
当前针对大语言模型在多语言亲属关系理解上的评估多采用多项选择，实质将其简化为识别任务。该研究构建了涵盖印地语、泰米尔语和韩语三种非西方语言的亲属称谓生成基准，测试了5款开源大模型在生成与选择任务中的表现。结果显示，模型普遍存在显著能力断层：GPT OSS 120B在对应选项识别中准确率达90.67%，但在自主生成中的合格率仅为36.00%，Llama 3.3 70B等模型亦呈现相同趋势。
句子级法律解释准则分类：基于德国联邦宪法法院判决的评测基准
针对大语言模型在司法推理分析中的难点，该研究提出了一个句子级基准，用于评估大模型分类法律解释准则的能力。研究基于传统法学解释理论构建了分类标准，发布了经过句子级人工标注的德国联邦宪法法院判决数据集，并在专家手写提示词设定下，对来自三个模型家族的四款大语言模型进行了基线性能评测。
长文本问答实证研究：学习型上下文规划为何难以超越强检索基线
该论文针对长文本多项选择问答任务，系统测试了学习型上下文规划在强检索、路由、预算选择和重排序控制下的有效性。研究人员基于LongBench-v2的503道多选题目，使用Qwen2.5-7B-Instruct模型进行了对照诊断。结果显示，在18k字符的预算约束下，锚定混合检索可达到36.18%的准确率，揭示了复杂的上下文规划在面临强检索基线时的局限性与表现瓶颈。
事实核查评分提升由何驱动？针对验证模型与大语言模型的证据与答案归因研究
该论文探讨了联合事实核查评分提升背后的机制，分析在固定答案的前提下证据质量对综合评分的独立贡献。研究基于FEVEROUS基准数据集中的7,890条声明及4个DeBERTa模型检查点展开实验。结果显示，将DCUF证据替换为UnifEE证据后，严格核查评分显著提升9.61个百分点，而答案准确率仅提高1.96个百分点。该研究通过细粒度归因，揭示了高质量证据检索对联合事实核查评估指标的决定性影响。
NADI 2026：第二届多方言阿拉伯语语音处理共享任务发布
NADI 2026 是精细阿拉伯语方言识别（NADI）系列的第七届共享任务，也是第二次专注于多方言阿拉伯语语音处理的评测。本届任务包含五项核心任务与八个子任务，覆盖自动语音识别（ASR）、方言识别（SDID）、语音合成（TTS）、语音翻译（SLT）和口语理解（SLU）。该评测重点关注低带宽、混合方言、语码转换、域外及零样本等真实场景，并首次在该系列中引入了 TTS、SLT 和 SLU 赛道。
终端基准测试何以称“难”？研究揭示智能体评测中的“真假难度”陷阱
前沿基准测试常依赖当前模型无法解决的任务来衡量能力边界，但零通过率并不等同于真正的高难度。该研究指出，任务全军覆没既可能源于真实的能力代差，也可能是由缺失上下文、损坏的参考方案或基础设施故障等“虚假难度”导致。基于 Terminal-Bench 3 等基准中涵盖 639 个任务、2.8 万余次试验及逾 10 万美元开销的真实记录，研究系统性厘清了导致智能体任务失败的本质原因，为评测体系纠偏。
超越重叠：评估基准数据泄露对模型性能因果效应的LeakScale框架
训练数据包含评测基准只能证明存在接触，却无法量化这种接触对评测表现的具体影响程度。为此，研究人员提出了干预性评估框架 LeakScale。该框架通过构建包含私有特定信息、且无法从公开任务中推导的新可执行任务，严格控制对这些信息的访问，从而利用反事实方法量化基准数据泄露对模型评测得分造成的实际因果影响。
面向网络生成文本的字素转音素基准 UGTPhon：涵盖多语言与组合式方法
文本转语音（TTS）系统在处理网络生成文本（如缩写 ppl、imo）时，需根据规范表达而非表面拼写来推断发音。为此，研究人员推出了首个针对英语、越南语和韩语网络文本的字素转音素（G2P）基准 UGTPhon，并配套提出用于细粒度诊断的分类体系。测试显示，现有 G2P 模型及前沿大模型在此类文本上的音素错误率（PER）最高落后 66.8 点。研究团队进一步提出了一种结合规范形式证据的组合式 G2P 基线方法。
1 / 2下一页 →