TWIST:针对对话记忆系统干预质量的新型评测基准
该研究提出了对话记忆评测基准套件 TWIST,旨在评估记忆系统在用户信念发生改变时是否能正确执行干预操作。针对现有长对话基准主要测试召回率和被动知识更新的局限,TWIST 设立了四大评估维度:主动张力检测、依据历史记录审查输出草案、在回答当前信念的同时保留历史变更记录,以及对敏感召回的治理控制。该套件基于 LoCo 进行了扩展,并引入了经人工验证的草案对齐机制。
该研究提出了对话记忆评测基准套件 TWIST,旨在评估记忆系统在用户信念发生改变时是否能正确执行干预操作。针对现有长对话基准主要测试召回率和被动知识更新的局限,TWIST 设立了四大评估维度:主动张力检测、依据历史记录审查输出草案、在回答当前信念的同时保留历史变更记录,以及对敏感召回的治理控制。该套件基于 LoCo 进行了扩展,并引入了经人工验证的草案对齐机制。
基于大语言模型的角色扮演智能体广泛应用于个性化助手和社交模拟等领域。然而,现有的强化学习方法通常依赖训练前收集的固定场景池,容易产生分布瓶颈:随着智能体能力的提升,其薄弱场景不断变化,而静态的训练分布无法随之调整。为此,研究者提出了 AdvRole 对抗性上下文重写框架,将角色扮演的强化学习转化为闭环课程,通过在负责角色扮演的智能体与对抗重写模块之间交替优化,持续动态演化训练场景以突破性能瓶颈。
研究人员推出了名为Forecast-Dojo的可回放环境,专门用于基准测试和训练大语言模型预测智能体。该环境将已公布结果的预测市场问题与带时间戳的历史新闻相结合,允许智能体在连续的历史时间节点检索事件并动态调整预测,无需等待未来事件即可完成评估、交互数据收集与结果反馈。系统包含1568个Polymarket事件及1880万篇带日期的新闻文章,并对12个模型进行了评估测试。
当前营销领域常使用大语言模型构建“虚拟人设”以预测真实受众对文案的反应。本研究基于Upworthy研究档案中数千次真实流量点击率A/B测试作为基准,开展了从模拟到真实的有效性检验。实验对比了基于真实人口统计特征构建的10人虚拟人设面板与无角色设定的基准模型,结果显示,无角色基准在文案效果模拟上的表现反而击败了基于人设的模拟,对当前AI受众模拟的有效性提出了质疑。
神经影像数据分析通常需要专业的编程与统计技能,这给非计算背景的研究人员带来了门槛。为此,研究团队推出了“AI神经科学家”,这是一种用于交互式数据探索的语言智能体。该系统将大语言模型与神经影像专业工具集相结合,支持研究人员直接通过自然语言查询数据质量、执行建模与可视化并设定分析参数,为小规模数据探索提供了一种替代传统脚本处理流程的透明且交互式的解决方案。
该研究指出大模型在多轮对话中的交互失败不仅源于上下文记忆丢失,更深层的原因在于“过早后验坍缩”。即在用户初期意图尚不明确时,模型便过早锁定了某种单一的隐藏假设,导致后续用户给出的澄清信息仅被视为对既定假设的微调,而非彻底纠错。研究团队使用 Gemini-2.5-P 在写作、规划和代码任务中设计了可控实验,系统验证了这一导致模型难以调整错误方向的固有机制。
该研究探讨了大模型思维链(CoT)在生成最终答案时的因果约束力。作者提出了“基于续写的因果测试”方法,通过扰动某一推理步骤、截断链条并强迫模型基于被破坏的前缀继续生成,用以量化CoT对答案的“承重性”(load-bearingness)。在Gemma-2、Llama-3.1和DeepSeek-R1蒸馏模型上的多项基准测试表明,CoT的因果承重性与任务难度密切相关,简单任务中CoT往往流于形式,而在难任务中则切实主导推理方向。
该研究探讨了基于失败案例的文本知识蒸馏方法,旨在通过分析任务错误来发现模型的知识漏洞。研究定义了在推理时注入输入的独立“规则原子”,指出其虽然能编码可迁移的任务知识,但也可能包含特定于原模型的推理补丁,从而在跨模型迁移时产生干扰;此外,注入的规则还可能被错误应用于不相关场景并引发误判。(注:原文摘要末尾未完)
面向推理的大语言模型强化学习能显著提升多步推理与代码能力,但轨迹生成(Rollout)阶段也承担了极高的训练计算成本。如何在保障训练数据新鲜度、一致性与统计有效性的前提下提升 Rollout 效率,已成为当前优化的核心课题。本综述对近年来面向推理的强化学习 Rollout 效率研究进行了系统梳理,从底层机制和性能瓶颈等维度对现有优化方法展开分类,并指出了未来的发展方向。
资本市场中的“了解你的客户”(KYC)审查流程通常依赖分析师手动分类文档、从异构数据源提取结构化数据并验证合规性,导致入驻流程常拖延数周。本研究分析发现该流程包含高度可重复且适合AI自动化的环节,进而提出了重构后的自动化工作流及规则驱动的大语言模型流水线Spectra,旨在整合传统繁琐步骤以大幅提升处理效率(论文原始摘要在流程细节处有所截断)。
针对大语言模型容易受对抗性群体共识影响而产生盲从(阿谀)现象的问题,研究人员提出了对比认知解码(CED)。不同于依赖弱辅助模型的传统对比解码,CED在单模型架构上通过双重前向传播来隔离从众偏见。该方法引入了新型非对称零边界概率钳位和离散Top-k截断掩码,在数学上抑制有害的从众Token生成且避免语法崩塌,为零样本推理阶段的模型自主性提供了有效干预手段。
基于大语言模型(LLM)的用户模拟器常用于推荐系统评估,通过设定偏好属性(交互内容)与行为活跃度特征(浏览时长)来模拟真实用户。研究发现,模拟过程中这两种特征设定的独立性会失效:一是产生特征干扰,过高的活跃度会打破偏好边界,迫使模型与不匹配内容交互以维持浏览;二是导致评估失效,满意度评分会随着活跃度驱动的页面数量虚假膨胀。
该论文针对自动定理证明(ATP)中微调大语言模型的对齐问题展开研究。当前大模型常作为树搜索的引导策略,而传统交叉熵损失在搜索场景下并非最优。将对齐策略拓展至树搜索具有较大挑战,因为证明发现过程高度依赖监督演示中未包含的偏离轨迹状态的探索与恢复。为此,作者拓展了相关计算对齐方法以直接优化搜索生成器。注:由于原摘要结尾截断,更多技术细节尚未完整披露。
该论文针对大型语言模型多元对齐中价值观冲突的问题,研究了可控模型如何在竞争性目标间平衡权衡。多目标直接偏好优化(MODPO)通过目标权重覆盖连续权衡区间,本研究探讨了模型何时可同时提升两个目标,以及如何避免为每种权衡单独训练模型。基于HelpSteer和UltraFeedback的七组目标测试,研究提出了可预测目标冲突的预训练测量方法,以实现更高效的多元对齐。
该论文针对Python生态中因版本不兼容与包缺失导致的“依赖地狱”问题,提出了混合依赖修复管线PLLM+。该方法在包含2891个报错片段的HG2.9K基准上进行了验证。PLLM+在调用大语言模型前,优先执行低成本确定性策略,包括基于AST的静态解释器推断、历史成功配置重放以及实时PyPI验证,随后结合LLM进行精准修复,有效提升了真实代码的执行成功率。
思维链(CoT)监控通常假设模型生成的推理过程真实反映了得出答案的计算机制。以往评估推理真实性的指标主要停留在行为层面,即通过修改推理文本来观察输出变化。该研究提出一种在激活层面测量自生成推理真实性的因果分析方法。与以往仅评估性能衰减的因果审计不同,该方法通过带有已知反事实目标的激活干预,验证每一次干预是否能将答案切换至特定的反事实实体,从而精确评估推理步骤的因果支撑度。
一项针对大语言模型内部计算机制的研究显示,开源数学模型在处理问题时更倾向于按可复用的“推理方法”而非传统的“学科主题”组织内部计算。研究团队提出了一种“生成-重放协议”,先由模型生成解题步骤,再重放完整的提示词与生成轨迹,借此提取推理 token 的激活重要性特征并进行无监督聚类。该研究为理解 LLM 如何在内部表征和执行数学推理提供了新的可解释性视角。
针对企业利用大语言模型进行合规、风险及运营决策时对证据验证、审查路由与可审计性的高要求,研究人员提出了Policy-as-Skill(PaS)模块化运行时框架。该框架将上述功能打包为可执行且具备版本控制的策略能力。在基于固定模型后端的600项开发任务评估中,PaS+Audit方案取得了53.8%的准确率、100%的引用精确度与审计完整性,在绝大多数治理与合规指标上超越了传统LLM+RAG架构。
该研究针对泛化规划中方案完备性难以形式化验证的问题,提出了一种基于大语言模型(LLM)的新框架。此前利用 LLM 生成 Python 代码形式泛化规划的方法,只能依赖人工评估来确认其是否能解决领域内的所有实例。为此,研究团队提出利用交互式定理证明器 Lean 自动生成泛化规划,并同步产出基于领域约束规范的完备性数学证明,实现了对泛化规划正确性与全域覆盖能力的机器可验证保障。
该研究探讨了大型语言模型多智能体辩论(MAD)中的通信拓扑问题。针对当前学术界倾向于设计复杂、自适应或动态重构交互拓扑以提升推理准确率的趋势,研究团队深入审视了稀疏通信机制。论文提出“相异对等随机路由”方法,旨在探究是否真的需要复杂的拓扑控制,证实简单的稀疏通信即可在显著降低成本的同时实现极具竞争力的推理性能,为优化多智能体交互架构提供了更具成本效益的新思路。
针对长流程大语言模型智能体积累海量交互历史带来的效率挑战,现有压缩策略通常独立评估单条记录,忽略了组合删除所引起的冗余或累积信息损失。为此,研究团队提出了直接关系集合风险修剪(DRSR)框架。该方法将智能体历史上下文压缩建模为基于删除集合的风险约束选择问题,从集合层面综合评估删除风险与保留信息,在保障决策安全与任务表现的前提下,实现了长程智能体的高效修剪。
该技术报告介绍了开源大语言模型Hunyuan-A13B。该模型采用混合专家(MoE)架构,总参数量为800亿,推理时仅激活130亿参数,有效兼顾了模型性能、计算效率与部署成本。模型在经过严格清洗且强化STEM领域的20T token语料上进行预训练,并结合高质量SFT与大规模强化学习,同时引入了双模式思维链(CoT)框架,显著提升了事实可靠性与逻辑推理能力。