可验证奖励强化学习在小型搜索智能体中的应用研究
该研究探讨了可验证奖励强化学习（RLVR）在开放域问答与搜索任务中的适用性。以往该方案多应用于数学和代码等奖励明确的大模型场景，10亿参数以下小模型通常依赖大模型蒸馏。研究人员采用群体相对策略优化（GRPO）算法，直接在0.8B参数的Qwen3.5小模型上测试“检索后推理”架构，探索无需教师模型蒸馏即可使端侧小型搜索智能体掌握复杂检索与推理能力的可行性。
DC AI 热点
全部 AI 动态
9月25日2026-09-25
基于轨迹图估算单步优势：面向智能体强化学习的新方法
以GRPO为代表的分组强化学习已成为训练推理与智能体大模型的主流范式。然而，这类方法在全轨迹层面的优势估计虽然可靠，但在单步层面上存在系统性偏差，粗粒度的轨迹级反馈难以准确评估单个步骤的实际贡献（例如失败轨迹中往往包含有价值的操作步骤）。论文回归强化学习基础定义，提出通过构建轨迹图来精确估计步骤级优势，以解决多轮复杂智能体任务中的信用分配难题并提升模型训练效果。
SLCA-GRPO：解决工具调用强化学习中的跨段信用分配错误
具备工具调用能力的智能体通常交替生成结构化工具调用和自然语言总结。现有同策略强化学习算法（如GRPO）由于将整条轨迹的单一优势值无差别广播至所有Token，导致总结生成中的梯度噪声泄漏至工具决策Token，引发跨段信用分配错误与优化不稳定。为此，研究者提出了SLCA-GRPO框架，通过引入分段锁定的信用分配机制，有效隔离噪声并提升了工具调用策略训练的鲁棒性。
9月24日2026-09-24
基于子任务分解的强化学习方法：改进大语言模型策略优化
针对群组相对策略优化（GRPO）等主流策略梯度方法在训练语言模型智能体时将多轮交互压缩为单一标量轨迹奖励的痛点，研究指出该做法在稀疏和延迟反馈的多技能复合任务中存在严重的信息损失，优化器难以推断具体能力对结果的贡献。为此，论文提出应将轨迹奖励沿子任务进行解耦与分解后再进行策略更新，从而实现更精准的信用分配与行为调整。