大模型陈述的推理步骤是否真正承载因果权重？
思维链（CoT）监控通常假设模型生成的推理过程真实反映了得出答案的计算机制。以往评估推理真实性的指标主要停留在行为层面，即通过修改推理文本来观察输出变化。该研究提出一种在激活层面测量自生成推理真实性的因果分析方法。与以往仅评估性能衰减的因果审计不同，该方法通过带有已知反事实目标的激活干预，验证每一次干预是否能将答案切换至特定的反事实实体，从而精确评估推理步骤的因果支撑度。
推荐理由该研究深入模型激活层面验证思维链推理的因果真实性，为大模型的可解释性与推理可靠性评估提供了关键方法。
原标题：Are Stated Reasoning Steps Causally Load-Bearing?
阅读 arXiv 人工智能 原文 ↗