对齐惯性研究:评估模型策略干预对先验训练行为的覆盖耐久度
针对平台运营商依赖系统提示词和微调来规范模型行为但可靠性存疑的问题,该研究提出了覆盖成功率(OSR)和“对齐惯性”概念,用于量化后验干预能否有效覆盖先验训练习得的行为。研究在医疗虚假信息和仇恨言论场景下,对 Llama 和 Mistral 模型测试了零样本提示与 LoRA 微调效果。结果显示对齐惯性普遍存在,且其表现因模型架构、应用领域及策略导向的不同而存在显著差异。
针对平台运营商依赖系统提示词和微调来规范模型行为但可靠性存疑的问题,该研究提出了覆盖成功率(OSR)和“对齐惯性”概念,用于量化后验干预能否有效覆盖先验训练习得的行为。研究在医疗虚假信息和仇恨言论场景下,对 Llama 和 Mistral 模型测试了零样本提示与 LoRA 微调效果。结果显示对齐惯性普遍存在,且其表现因模型架构、应用领域及策略导向的不同而存在显著差异。