精选

后训练会在无关决策中留下行为阴影：新型主动无任务蒸馏方法提出

最新研究发现，大语言模型的能力可以通过与目标任务无关的文本进行传递。传统后训练通常依赖任务特定数据，而研究团队提出了一种“主动无任务蒸馏”（ATD）方法，仅需教师模型针对每个提示生成一个词即可实现能力转移。该方法揭示了后训练会在任务无关的决策中留下可被探测的“行为阴影”，突破了此前潜意识学习研究需依赖大量生成的限制，深化了对模型后训练表征变化及知识蒸馏机制的理解。