智能体训练中工具缓存可能导致策略更新方向反转
工具结果缓存可显著减少智能体训练中的重复计算，但也会耦合采样过程的随机性。最新研究通过一个双动作模型证明，即使独立执行与共享执行在边际上保持了每个采样的条件奖励分布一致，在组内共享随机结果仍可能导致预期的组归一化策略更新方向发生反转。理论推导表明，共享缓存更新反映的是胜负概率之差而非期望奖励之差，揭示了智能体强化学习中常见工程优化策略潜在的算法偏差风险。
DC AI 热点
全部 AI 动态
9月24日2026-09-24
多目标强化学习中事后重标记引发偏好覆盖崩溃的研究
事后重标记通过将转移目标事后替换为实际达到的结果，是提升强化学习样本效率的有效手段。然而，将其自然扩展至偏好条件的多目标强化学习（MORL）时，本研究发现该方法往往适得其反。在 MO-Gymnasium 连续控制测试套件中，针对涵盖两种 Critic 主干和偏好采样方案的四种离线策略算法测试表明，此类重标记会导致性能退化并引发偏好覆盖崩溃。（注：原文摘要结尾处不完整）
基于Wasserstein倾斜流图的免仿真强化学习微调方法WTF
该研究针对预训练流式生成模型的下游奖励微调问题，提出了一种名为Wasserstein倾斜流的新框架。传统方法多将其表述为基于KL散度正则化的奖励倾斜分布采样，而本研究构建了直接基于预训练漂移的最优传输正则化项。与传统的重加权基分布不同，该目标直接将单个样本输运至高奖励区域，使其等价于一种确定性过程，从而实现了免仿真的强化学习模型优化。