Pistis技术报告发布：融合蒸馏与强化学习的新型多模态大模型家族
该技术报告介绍了Pistis多模态大语言模型家族，包含基于Qwen系列构建的27B与9B参数模型。研发团队提出了一套通用且可扩展的后训练框架，在大规模多模态监督微调（SFT）的基础上，首创了交替蒸馏与强化学习（IDRL）范式。IDRL将同策略蒸馏与强化学习深度集成在单一训练循环中，通过二者交替优化，有效提升了多模态模型的整体综合性能。
DC AI 热点
全部 AI 动态
9月25日2026-09-25
DEEPO：面向多模态大模型幻觉抑制的双熵增强策略优化
该研究探讨了强化学习在多模态大语言模型（MLLM）中抑制幻觉效果不稳定的问题，并归因于从奖励到参数更新纠错链中的两个弱点：在采样层面，高语义熵的困难查询易产生全错样本组，使最易产生幻觉区域的相对优势坍缩为零；在优化层面，高置信度的错误token存在梯度消失现象。为此，论文提出了双熵增强策略优化方法DEEPO，以改进参数更新机制并有效缓解多模态幻觉。
AdvRole：面向角色扮演智能体的对抗性闭环课程学习框架
基于大语言模型的角色扮演智能体广泛应用于个性化助手和社交模拟等领域。然而，现有的强化学习方法通常依赖训练前收集的固定场景池，容易产生分布瓶颈：随着智能体能力的提升，其薄弱场景不断变化，而静态的训练分布无法随之调整。为此，研究者提出了 AdvRole 对抗性上下文重写框架，将角色扮演的强化学习转化为闭环课程，通过在负责角色扮演的智能体与对抗重写模块之间交替优化，持续动态演化训练场景以突破性能瓶颈。
TRACER：基于行为一致性对齐的多轮用户模拟器
针对交互式AI构建与评测中模拟用户难以复现真实意图演变和交互结果的缺陷，研究人员提出了多轮用户模拟器 TRACER。该模型能够显式建模用户动态演变的意图，使模拟行为与真实交互轨迹保持一致。TRACER 采用两阶段训练策略：首先在真实用户对话上进行监督微调（SFT），随后利用融合了分层结果与轨迹奖励的多轮强化学习进行对齐训练，从而大幅提升用户模拟的真实度与行为一致性。
可验证奖励强化学习在小型搜索智能体中的应用研究
该研究探讨了可验证奖励强化学习（RLVR）在开放域问答与搜索任务中的适用性。以往该方案多应用于数学和代码等奖励明确的大模型场景，10亿参数以下小模型通常依赖大模型蒸馏。研究人员采用群体相对策略优化（GRPO）算法，直接在0.8B参数的Qwen3.5小模型上测试“检索后推理”架构，探索无需教师模型蒸馏即可使端侧小型搜索智能体掌握复杂检索与推理能力的可行性。
强化学习可审计性研究：通过离散行为规则实现策略解释与组合
针对强化学习策略通常以不透明神经权重分发、训练日志难以解释模型具体学到何种行为的问题，该研究探讨了能否通过可审计的离散行为规则来表征和组合独立训练的策略。作者将“可审计性”拆解为轨迹完整性、无损编码、规则覆盖率、行为一致性、组合质量和价值模型可靠性六项独立可测试的属性，并采用共享冻结符号化器、被动规则提取及只追加的哈希绑定账本等机制构建验证协议。
EAGER：基于可验证奖励强化学习增强生成式事件抽取
针对大语言模型在端到端事件抽取中面临的多任务协同挑战，研究人员提出了名为 EAGER 的强化学习框架。该方法将细粒度可验证奖励与基于模式对比的优势估计机制相结合，有效缓解了稀疏二元奖励导致的优势崩溃问题。其奖励设计针对结构有效性、抽取准确性、扎根性、覆盖率和跨度精度等多维度指标进行了优化，显著增强了生成式事件抽取的准确性与鲁棒性。
基于轨迹图估算单步优势：面向智能体强化学习的新方法
以GRPO为代表的分组强化学习已成为训练推理与智能体大模型的主流范式。然而，这类方法在全轨迹层面的优势估计虽然可靠，但在单步层面上存在系统性偏差，粗粒度的轨迹级反馈难以准确评估单个步骤的实际贡献（例如失败轨迹中往往包含有价值的操作步骤）。论文回归强化学习基础定义，提出通过构建轨迹图来精确估计步骤级优势，以解决多轮复杂智能体任务中的信用分配难题并提升模型训练效果。
基于自旋玻璃理论：可验证奖励强化学习（RLVR）在迭代乘法任务中的优化景观可呈良态
该论文研究了带有可验证奖励的强化学习（RLVR）在迭代群与拟群乘法等算法任务中的优化景观，探讨其学习新推理能力的极限。作者将近视表格策略下的熵正则化RLVR映射到确定性策略的自旋玻璃能量模型，不仅给出了RLVR能力的理论上限，还严格刻画了表格环境下的景观特征。理论与实验表明该优化景观可以是良态的；因原文摘要截断，具体实验细节未完全展开。
动作归因何时需要更新？面向工具调用型智能体的高效更新机制研究
针对工具调用型智能体在策略持续更新中动作归因（Action Credit）失效、重新计算导致昂贵工具调用与环境交互成本的问题，该研究探讨了历史归因何时真正需要更新。研究核心发现，动作价值的变化并不一定会导致最终决策的改变；只要策略诱导的漂移不足以颠覆原有决策，历史动作归因即可继续复用，从而大幅降低计算开销。（注：原始摘要文本存在部分截断）
超越静态图世界模型：面向动态演化拓扑的随机潜空间动力学学习
针对现有基于图的世界模型多局限于固定拓扑或确定性、完全可观测环境的问题，研究人员提出了图动力学模型（GDM）。该模型专为图结构观测设计，能够处理在随机和部分可观测环境中拓扑结构动态演化的更通用场景。GDM利用稀疏循环邻接矩阵对拓扑更新进行建模并执行消息传递，结合循环状态空间机制以捕捉潜空间动力学。
SLCA-GRPO：解决工具调用强化学习中的跨段信用分配错误
具备工具调用能力的智能体通常交替生成结构化工具调用和自然语言总结。现有同策略强化学习算法（如GRPO）由于将整条轨迹的单一优势值无差别广播至所有Token，导致总结生成中的梯度噪声泄漏至工具决策Token，引发跨段信用分配错误与优化不稳定。为此，研究者提出了SLCA-GRPO框架，通过引入分段锁定的信用分配机制，有效隔离噪声并提升了工具调用策略训练的鲁棒性。
从自我蒸馏到自我练习：多轮智能体特权信息利用机制研究
该研究探讨了大模型多轮智能体训练中策略内自我蒸馏（OPSD）范式的缺陷。该范式利用特权信息构建强教师模型进行词元级监督，但在多轮交互中，学生智能体会表现出脱离实际信息的盲目自信，误以为自己掌握了未曾观测到的特权信息，导致性能大幅落后于普通强化学习，甚至劣于基座模型。为此作者提出了新范式；由于原文摘要截断，新方法细节尚未完全展开。
强化学习中的策略复杂度、反应时间与有限理性研究
针对标准强化学习通常忽略生物智能体感知、注意力和工作记忆等认知计算成本的问题，该研究探讨了有限理性条件下的强化学习建模。作者推导并提出了 MI-SARSA 算法，这是一种同策略时序差分强化学习算法，通过引入学习到的边际动作互信息正则化来限制策略复杂度，旨在更好地模拟受计算约束的生物智能决策行为。
CounterRoute：基于分层反事实信用分配的自路由推理强化学习框架
针对具备推理能力的大语言模型在简单问题中生成过长思维链从而浪费推理算力的问题，研究人员提出了 CounterRoute 框架。该框架采用在线强化学习方法，直接基于原生双模式检查点联合学习路由决策与模式条件响应，无需特定微调预热。它有效解决了路由目标随策略演变、初始模式偏好破坏探索稳定性以及序列级目标耦合等挑战，实现了高效的自适应推理路由。
Rufus-Air：基于GLM-4.5-Air的开源大模型后训练完整方案
该研究提出了开源且可复现的大模型后训练方案Rufus-Air，基于GLM-4.5-Air-Base模型构建。该方案包含八个串行阶段：SFT、推理强化学习、代码强化学习、指令遵循强化学习、通用智能体、代码智能体、搜索智能体及RLHF。能力训练从基础逐步演进至高级，奖励信号从可验证的硬规则过渡到软性评判。全流程依托开源组件与公开数据，无需新增人工标注，并公开了完整的复现细节与基建配置。
针对多链鲁棒平均奖励MDP的向量贝尔曼理论研究
该研究针对存在不确定性的长期性能优化问题，探讨了多链鲁棒平均奖励马尔可夫决策过程（MDP）。在此类问题中，最优长期奖励通常依赖于初始状态，需要建立兼顾递归类奖励和转移不确定性的向量贝尔曼理论。论文针对具有紧凑、动作后(s,a)-矩形模糊集的有限模型构建了该理论，提出了“增益优先、偏差第二”的优化原则，导出了耦合的向量增益-偏差系统，用于求解最优鲁棒增益。
北大等团队开源强化学习数据策略框架DataFlex-RL，简化模型后训练对比
随着推理模型和可验证奖励强化学习（RLVR）在后训练中的重要性日益凸显，大模型训练中的数据策略安排变得愈发关键。为此，北大DCAI团队联合中国科学院大学、上海算法创新研究院以及中关村学院开源发布了DataFlex-RL。该框架旨在解决强化学习后训练中数据策略接入繁琐及效果对比不公平等痛点，为模型训练策略的标准化与高效评测提供支持。
基于 Tunix 与 TPU 的自主大模型后训练框架 autofinetune 推出
autofinetune 项目推出了一套全自动大模型后训练研究闭环，涵盖监督微调（SFT）和基于 GRPO 的强化学习。开发者只需在单个 Markdown 文档中设定边界条件与评估指标，AI Agent 便能自主修改训练脚本、发起实验，并将验证有效的超参数优化自动提交至 Git。该项目基于 Google 的 Tunix、Gemma 和 Cloud TPU 技术栈构建，消除了繁琐的人工微调过程，已在函数调用与数学推理任务中验证了无人工干预的性能提升。
9月24日2026-09-24
智能体训练中工具缓存可能导致策略更新方向反转
工具结果缓存可显著减少智能体训练中的重复计算，但也会耦合采样过程的随机性。最新研究通过一个双动作模型证明，即使独立执行与共享执行在边际上保持了每个采样的条件奖励分布一致，在组内共享随机结果仍可能导致预期的组归一化策略更新方向发生反转。理论推导表明，共享缓存更新反映的是胜负概率之差而非期望奖励之差，揭示了智能体强化学习中常见工程优化策略潜在的算法偏差风险。
多目标强化学习中事后重标记引发偏好覆盖崩溃的研究
事后重标记通过将转移目标事后替换为实际达到的结果，是提升强化学习样本效率的有效手段。然而，将其自然扩展至偏好条件的多目标强化学习（MORL）时，本研究发现该方法往往适得其反。在 MO-Gymnasium 连续控制测试套件中，针对涵盖两种 Critic 主干和偏好采样方案的四种离线策略算法测试表明，此类重标记会导致性能退化并引发偏好覆盖崩溃。（注：原文摘要结尾处不完整）
面向推理的大语言模型强化学习Rollout效率综述：技术分类与未来方向
面向推理的大语言模型强化学习能显著提升多步推理与代码能力，但轨迹生成（Rollout）阶段也承担了极高的训练计算成本。如何在保障训练数据新鲜度、一致性与统计有效性的前提下提升 Rollout 效率，已成为当前优化的核心课题。本综述对近年来面向推理的强化学习 Rollout 效率研究进行了系统梳理，从底层机制和性能瓶颈等维度对现有优化方法展开分类，并指出了未来的发展方向。
基于Wasserstein倾斜流图的免仿真强化学习微调方法WTF
该研究针对预训练流式生成模型的下游奖励微调问题，提出了一种名为Wasserstein倾斜流的新框架。传统方法多将其表述为基于KL散度正则化的奖励倾斜分布采样，而本研究构建了直接基于预训练漂移的最优传输正则化项。与传统的重加权基分布不同，该目标直接将单个样本输运至高奖励区域，使其等价于一种确定性过程，从而实现了免仿真的强化学习模型优化。
基于子任务分解的强化学习方法：改进大语言模型策略优化
针对群组相对策略优化（GRPO）等主流策略梯度方法在训练语言模型智能体时将多轮交互压缩为单一标量轨迹奖励的痛点，研究指出该做法在稀疏和延迟反馈的多技能复合任务中存在严重的信息损失，优化器难以推断具体能力对结果的贡献。为此，论文提出应将轨迹奖励沿子任务进行解耦与分解后再进行策略更新，从而实现更精准的信用分配与行为调整。
VHD-Play：基于机制求解生成可验证的智能体强化学习环境
随着大语言模型智能体处理长程任务的需求增加，扩展其强化学习训练亟需多样化环境与可靠奖励信号。针对现有生成管道在环境动态与事后评估对齐上的缺陷，研究提出VHD-Play框架。该方法颠倒了传统的构建依赖关系，首先对数学模型进行采样与求解，再通过基于语料的设置器将其决策过程渲染为具备状态的可执行工具环境，为智能体强化学习提供了低成本、可验证的交互环境生成方案。
如何利用 NVIDIA Warp 与 MjWarp 加速机器人仿真及学习工作流
该技术文章聚焦于如何结合使用 NVIDIA Warp 与 MjWarp 框架，以加速机器人领域的物理仿真与强化学习等工作流。由于提供的原始素材缺少详细摘要与正文内容，具体的技术架构实现、性能评测对比及实操步骤等细节尚无法进一步展开。整体内容旨在探讨通过高性能 GPU 仿真工具提升机器人开发与训练效率的方法。