精选

基于Wasserstein倾斜流图的免仿真强化学习微调方法WTF

该研究针对预训练流式生成模型的下游奖励微调问题，提出了一种名为Wasserstein倾斜流的新框架。传统方法多将其表述为基于KL散度正则化的奖励倾斜分布采样，而本研究构建了直接基于预训练漂移的最优传输正则化项。与传统的重加权基分布不同，该目标直接将单个样本输运至高奖励区域，使其等价于一种确定性过程，从而实现了免仿真的强化学习模型优化。