基于伪造语料微调检验模型置信度与知识一致性的开源工具包技术手册
语言模型对答案的置信度通常被视为其掌握事实程度的代理指标。该技术手册介绍了一个专门用于直接检验该假设的开源工具包。研究团队通过在包含81个个位数加法虚假答案的伪造语料库上微调小型因果语言模型，并在微调前后使用统一的测量流程，定量对比模型对虚假答案与真实答案的置信度演变。手册详细阐述并论证了该评估流水线的各个构建阶段。
DC AI 热点
全部 AI 动态
9月25日2026-09-25
稀疏自编码器隐空间中作为涌现类别的词性结构研究
该研究探讨了稀疏自编码器（SAE）在解析语言模型内部表征时揭示的语言学结构。作者以词性（PoS）类别为受控实验案例，分析形态句法信息究竟是由单个隐特征还是结构化特征组所编码。实验表明，词性差异高度可从SAE激活中恢复，但并非简单的一对一隐变量映射，且该恢复能力无法归结为单纯的词汇记忆，同时开放类与封闭类词性在表征特性上存在显著差异。
9月24日2026-09-24
长程智能体在行动前即可涌现记忆控制信号
针对长程语言模型智能体因持续积累交互历史而导致算力成本增加、关键信息难以保留的问题，本研究深入分析了智能体执行动作前的内部隐藏状态。研究发现，模型在采取行动之前，其内部表征已自发编码了对上下文压缩和召回等记忆操作的控制需求，且这些信号无法仅由简单的上下文统计特征解释。该成果揭示了模型内生管理记忆的潜在能力，为设计更高效的长程智能体记忆机制提供了新视角。