基于伪造语料微调检验模型置信度与知识一致性的开源工具包技术手册
语言模型对答案的置信度通常被视为其掌握事实程度的代理指标。该技术手册介绍了一个专门用于直接检验该假设的开源工具包。研究团队通过在包含81个个位数加法虚假答案的伪造语料库上微调小型因果语言模型，并在微调前后使用统一的测量流程，定量对比模型对虚假答案与真实答案的置信度演变。手册详细阐述并论证了该评估流水线的各个构建阶段。
推荐理由该工具包通过构造虚假事实微调实验，为探究大语言模型置信度与其内在知识储备之间的因果对应关系提供了实用的评测框架。
原标题：Technical Manual for Toolkit for Confidence-Corpus Consistency via Fine-Tuning on a Fabricated Corpus
阅读 arXiv 自然语言处理 原文 ↗