嵌入式AI安全评估的核心领域与实施方法初探
该内容探讨了第三方机构在进行嵌入式安全评估时应重点监测的关键风险领域，并提出了一套初步的评估与应对方法建议。文章旨在为外部监督与安全评测提供框架参考，帮助相关机构识别和防范模型在实际应用中潜藏的安全风险。由于目前披露信息较为有限，具体涉及的技术指标与评估流程仍需结合后续完整方案做进一步分析。
DC AI 热点
全部 AI 动态
9月25日2026-09-25
Transluce 发布 AI 心理健康评估基准，涵盖 77 款模型变体
Transluce 宣布推出一项全新的 AI 心理健康评估基准。该研究评估了 77 个 AI 系统变体在应对模拟经历自杀意念、精神病和躁狂症等心理危机用户时的反应，测试范围覆盖 14 种与心理健康相关的行为。该评估旨在系统衡量主流模型在识别和处理高风险心理健康问题时的安全边界与支持能力。
9月24日2026-09-24
AI 评估（AI Evals）全面指南与常见问题解析
该内容源自知名从业者博客，旨在为开发者提供关于“AI 系统评估（AI Evals）”的全面指南与常见问题解答，涵盖构建可靠 AI 应用所需的评测知识。由于原始素材仅提供了文章标题与链接，具体涉及的评估框架、实施指标和实践细节未在摘要中体现，需查阅原文获取详细内容。
事实核查评分提升由何驱动？针对验证模型与大语言模型的证据与答案归因研究
该论文探讨了联合事实核查评分提升背后的机制，分析在固定答案的前提下证据质量对综合评分的独立贡献。研究基于FEVEROUS基准数据集中的7,890条声明及4个DeBERTa模型检查点展开实验。结果显示，将DCUF证据替换为UnifEE证据后，严格核查评分显著提升9.61个百分点，而答案准确率仅提高1.96个百分点。该研究通过细粒度归因，揭示了高质量证据检索对联合事实核查评估指标的决定性影响。
对话式AI分层参与度评估框架：从离线代理到在线决策
针对在线A/B测试受流量和周期限制、难以覆盖大量对话式AI迭代的问题，研究者提出了一种分层参与度评估框架。该研究构建了一套可复用的诊断清单，将离线代理指标解构为三层对齐链条：行为标签与产品结果对齐、分类器与候选助手行为对齐，以及离线聚合信号与在线实验效应相对应。配套评估协议旨在离线环境下无须真实用户暴露即可高精度预测在线实验结果，加速系统迭代。