精选

大语言模型数学推理机制按方法而非学科主题组织

一项针对大语言模型内部计算机制的研究显示，开源数学模型在处理问题时更倾向于按可复用的“推理方法”而非传统的“学科主题”组织内部计算。研究团队提出了一种“生成-重放协议”，先由模型生成解题步骤，再重放完整的提示词与生成轨迹，借此提取推理 token 的激活重要性特征并进行无监督聚类。该研究为理解 LLM 如何在内部表征和执行数学推理提供了新的可解释性视角。