TRACER：基于行为一致性对齐的多轮用户模拟器
针对交互式AI构建与评测中模拟用户难以复现真实意图演变和交互结果的缺陷，研究人员提出了多轮用户模拟器 TRACER。该模型能够显式建模用户动态演变的意图，使模拟行为与真实交互轨迹保持一致。TRACER 采用两阶段训练策略：首先在真实用户对话上进行监督微调（SFT），随后利用融合了分层结果与轨迹奖励的多轮强化学习进行对齐训练，从而大幅提升用户模拟的真实度与行为一致性。
DC AI 热点
全部 AI 动态
9月25日2026-09-25
基于贝叶斯情境化价值对齐的大语言模型个性化研究
针对大语言模型个性化价值对齐中常采用静态画像、忽视情境对价值偏好动态影响的局限，研究人员受勒温场论启发，提出将个人价值观建模为先验、情境依赖偏好建模为后验的新范式。基于此，该研究提出了名为 BaCVA 的推理时贝叶斯情境价值对齐方法，使模型输出能够结合用户内在特质与具体环境约束，实现更动态、情境化的个性化对齐。
9月24日2026-09-24
可控多元对齐研究：预测目标冲突并高效覆盖多目标权衡
该论文针对大型语言模型多元对齐中价值观冲突的问题，研究了可控模型如何在竞争性目标间平衡权衡。多目标直接偏好优化（MODPO）通过目标权重覆盖连续权衡区间，本研究探讨了模型何时可同时提升两个目标，以及如何避免为每种权衡单独训练模型。基于HelpSteer和UltraFeedback的七组目标测试，研究提出了可预测目标冲突的预训练测量方法，以实现更高效的多元对齐。
针对利益冲突环境，新基准CAVEAT评估计算机使用智能体鲁棒性
随着计算机使用智能体（CUA）日益广泛地代表用户执行在线操作，当所处环境的利益激励与用户目标不一致（如电商平台倾向于推荐特定商品而诱导智能体偏离目标）时，智能体表现面临新挑战。现有基准多局限于合作场景或显式攻击，忽略了环境自身存在利益诉求的情况。为此，研究团队推出了受控基准测试 CAVEAT，涵盖 9 个市场环境及相关分类法，专门评估智能体在利益错位环境下的目标坚守能力。
对齐惯性研究：评估模型策略干预对先验训练行为的覆盖耐久度
针对平台运营商依赖系统提示词和微调来规范模型行为但可靠性存疑的问题，该研究提出了覆盖成功率（OSR）和“对齐惯性”概念，用于量化后验干预能否有效覆盖先验训练习得的行为。研究在医疗虚假信息和仇恨言论场景下，对 Llama 和 Mistral 模型测试了零样本提示与 LoRA 微调效果。结果显示对齐惯性普遍存在，且其表现因模型架构、应用领域及策略导向的不同而存在显著差异。