精选

面向推理的大语言模型强化学习Rollout效率综述：技术分类与未来方向

面向推理的大语言模型强化学习能显著提升多步推理与代码能力，但轨迹生成（Rollout）阶段也承担了极高的训练计算成本。如何在保障训练数据新鲜度、一致性与统计有效性的前提下提升 Rollout 效率，已成为当前优化的核心课题。本综述对近年来面向推理的强化学习 Rollout 效率研究进行了系统梳理，从底层机制和性能瓶颈等维度对现有优化方法展开分类，并指出了未来的发展方向。