大语言模型数学推理机制按方法而非学科主题组织
一项针对大语言模型内部计算机制的研究显示，开源数学模型在处理问题时更倾向于按可复用的“推理方法”而非传统的“学科主题”组织内部计算。研究团队提出了一种“生成-重放协议”，先由模型生成解题步骤，再重放完整的提示词与生成轨迹，借此提取推理 token 的激活重要性特征并进行无监督聚类。该研究为理解 LLM 如何在内部表征和执行数学推理提供了新的可解释性视角。
推荐理由揭示了大模型内部按通用求解方法而非学科主题组织数学推理的计算机理，具有理论研究价值。
原标题：Math Reasoning in LLMs is Organized by Approach, Not Topic
阅读 arXiv 人工智能 原文 ↗