多目标强化学习中事后重标记引发偏好覆盖崩溃的研究
事后重标记通过将转移目标事后替换为实际达到的结果,是提升强化学习样本效率的有效手段。然而,将其自然扩展至偏好条件的多目标强化学习(MORL)时,本研究发现该方法往往适得其反。在 MO-Gymnasium 连续控制测试套件中,针对涵盖两种 Critic 主干和偏好采样方案的四种离线策略算法测试表明,此类重标记会导致性能退化并引发偏好覆盖崩溃。(注:原文摘要结尾处不完整)
事后重标记通过将转移目标事后替换为实际达到的结果,是提升强化学习样本效率的有效手段。然而,将其自然扩展至偏好条件的多目标强化学习(MORL)时,本研究发现该方法往往适得其反。在 MO-Gymnasium 连续控制测试套件中,针对涵盖两种 Critic 主干和偏好采样方案的四种离线策略算法测试表明,此类重标记会导致性能退化并引发偏好覆盖崩溃。(注:原文摘要结尾处不完整)