精选

可控多元对齐研究：预测目标冲突并高效覆盖多目标权衡

该论文针对大型语言模型多元对齐中价值观冲突的问题，研究了可控模型如何在竞争性目标间平衡权衡。多目标直接偏好优化（MODPO）通过目标权重覆盖连续权衡区间，本研究探讨了模型何时可同时提升两个目标，以及如何避免为每种权衡单独训练模型。基于HelpSteer和UltraFeedback的七组目标测试，研究提出了可预测目标冲突的预训练测量方法，以实现更高效的多元对齐。