混合推理模型中的“思考泄漏”:NoThink后训练机制因果审计
针对混合推理模型在无显式思考(NoThink)模式下的后训练机制,本研究探讨了其性能提升是否源于基座模型“思考(Think)”模式能力的潜在迁移。作者将这种“思考泄漏”纳入因果中介分析框架,并基于激活方向的双向干预进行审计。在3个模型、3种后训练方法及竞赛数学基准上的实验表明,“思考泄漏”在行为和表征层面均真实存在、具备因果性且影响显著,揭示了快推理模式下的内在表征机制。
针对混合推理模型在无显式思考(NoThink)模式下的后训练机制,本研究探讨了其性能提升是否源于基座模型“思考(Think)”模式能力的潜在迁移。作者将这种“思考泄漏”纳入因果中介分析框架,并基于激活方向的双向干预进行审计。在3个模型、3种后训练方法及竞赛数学基准上的实验表明,“思考泄漏”在行为和表征层面均真实存在、具备因果性且影响显著,揭示了快推理模式下的内在表征机制。
具备工具调用能力的智能体通常交替生成结构化工具调用和自然语言总结。现有同策略强化学习算法(如GRPO)由于将整条轨迹的单一优势值无差别广播至所有Token,导致总结生成中的梯度噪声泄漏至工具决策Token,引发跨段信用分配错误与优化不稳定。为此,研究者提出了SLCA-GRPO框架,通过引入分段锁定的信用分配机制,有效隔离噪声并提升了工具调用策略训练的鲁棒性。
科技与创新政策对国家竞争力至关重要,但其多样性与庞大规模使得系统化监测变得极其困难,传统人工调查成本高昂且难以跨国扩展。本研究探索了利用大语言模型从非结构化长政策文本中提取信息的能力,提出将大模型作为“AI受访者”以生成结构化调查响应。研究团队开发了基于长上下文的数据提取流程,用于自动化政策分析与追踪,显著降低了人工监测成本。
该研究探讨了大模型多轮智能体训练中策略内自我蒸馏(OPSD)范式的缺陷。该范式利用特权信息构建强教师模型进行词元级监督,但在多轮交互中,学生智能体会表现出脱离实际信息的盲目自信,误以为自己掌握了未曾观测到的特权信息,导致性能大幅落后于普通强化学习,甚至劣于基座模型。为此作者提出了新范式;由于原文摘要截断,新方法细节尚未完全展开。
该研究提出了LabFactory框架,旨在将科学任务需求自动转化为可执行的AI实验室。在该框架中,AI构建器根据科学任务简报,构建并打包一套集成特定模型、知识资源、实用工具和控制器的定制求解系统。整个开发和打包过程在受计量的独立工作区中完成,随后交付给独立宿主环境执行,探索了科学计算与AI系统的自动化端到端构建路径。
针对癌症登记员及肿瘤数据专家需处理复杂且频繁更新的编码和分期标准这一痛点,研究团队开发了CRISS(癌症登记智能支持系统)。该系统采用检索增强生成(RAG)架构,构建能够快速提供引文支持的对话助手。研究评估了CRISS在提供准确且附带引用来源的解答、改善指南检索与解读、以及在保持人工最终审核的前提下支持人员培训和技术咨询等方面的实际效果。
该研究探讨了大语言模型(LLM)的评估方法。在多项选择问答任务中,常规基于似然的评分与提示词方法类似均依赖任务上下文。研究团队提出了一种基于问答对构建的陈述句进行似然排序的补充评估协议。通过对95个参数量从1亿到1040亿的仅解码器模型在10个多选题数据集上的测试,系统对比并揭示了似然排序与提示词方法在模型规模扩展表现上的差异。
该研究针对联邦学习在隐私保护应用中面临的性能削弱、信息窃取以及聚合脆弱性等鲁棒性挑战进行了全面综述。论文从三个核心维度对联邦学习鲁棒性进行了系统梳理:首先以威胁为中心对多维攻击面进行分类;其次构建了鲁棒聚合策略的结构化分类体系,明确区分以结果为中心和以安全为中心的方法;最后提出了分层框架,旨在为提升分布式学习系统的安全性与稳健性提供研究指引。
该研究针对微控制器级的三值(1.58-bit)权重语言模型进行了严格的受控复验。此前有研究称混合路由三值模块在6万参数规模下性能超越参数匹配的全精度Transformer达22%,并归因于归纳偏置。研究人员通过固定训练配方、多随机种子及98次测试进行复查,发现基线Transformer的具体结构形状对性能起主导作用,揭示了此前结论可能受基线设计差异误导,强调了极小模型对比的评估规范。
该研究针对计算与内存资源受限的边缘设备,提出了一套高效的边缘机器学习工作流程,用于在腕戴式多模态生理监测设备WeBe Band上快速开发、优化和部署ML模型。该系统支持自动机器学习(AutoML)和硬件优化,能够自动生成硬件高效型模型,并轻松集成到WeBe的核心固件中,大幅简化了端侧算法的开发周期。
针对标准强化学习通常忽略生物智能体感知、注意力和工作记忆等认知计算成本的问题,该研究探讨了有限理性条件下的强化学习建模。作者推导并提出了 MI-SARSA 算法,这是一种同策略时序差分强化学习算法,通过引入学习到的边际动作互信息正则化来限制策略复杂度,旨在更好地模拟受计算约束的生物智能决策行为。
该研究针对欧洲电力交易跨日前、日内和平衡等多层级市场的复杂机制,提出了一种符合监管约束的AI辅助交易系统功能架构。该架构深度结合了欧盟市场耦合机制、跨区域电力传输物理约束,并满足REMIT、MiFID II、MiFIR和EMIR等合规要求。研究通过定义决策状态向量、残差风险敞口核算以及约束优化目标,构建了一套正规化的系统规范,为高监管环境下的电力AI交易系统开发提供了工程指导。
大语言模型(LLM)已广泛应用于编程解题与缺陷修复,但现有研究通常将解题能力与修复能力独立评估,忽略了二者之间的关联。本研究重点探讨LLM在修复含错代码时相较于人类补丁的偏差程度,并验证模型是否存在倾向于直接生成全新解法而非局部修复的偏差。为此,研究团队构建了包含约3000次编程提交的数据集,系统分析模型修复缺陷的实际机制。
本研究基于小波扩散模型(WDM)框架,系统评估了扩散模型在公里级降水降尺度任务中的跨区域与跨事件泛化能力。研究覆盖了代表对流、冬季、热带及大气河流等降水机制的美国六个区域,通过对NOAA多雷达/多传感器复合反射率场进行块平均生成低分辨率输入。研究重点测试了仅在俄克拉荷马州样本上训练的模型向其他未知地理区域和天气形态迁移的实际表现。
针对具备推理能力的大语言模型在简单问题中生成过长思维链从而浪费推理算力的问题,研究人员提出了 CounterRoute 框架。该框架采用在线强化学习方法,直接基于原生双模式检查点联合学习路由决策与模式条件响应,无需特定微调预热。它有效解决了路由目标随策略演变、初始模式偏好破坏探索稳定性以及序列级目标耦合等挑战,实现了高效的自适应推理路由。
该研究针对全双工语音对话模型缺乏显式自然附和(如“嗯”、“对”等应答词)的问题,提出了一种轻量级预测头结构。该机制直接利用全双工模型自身的隐藏状态来预测附和时机,当概率超过设定阈值时即强制解码生成反馈。实验在7B规模的PersonaPlex和1B规模的F-Actor模型上验证了该方法的跨尺度泛化能力,探针分析也证实其隐藏状态能够有效契合人类真实的交谈节奏。
在科学机器学习中,增量学习通常针对物理基线残差训练模型,传统观点认为基线越精确、残差尺度越小,下游性能就越好。该研究表明,仅靠残差尺度不足以评估目标的可学习性。通过在分子图神经网络的总能量预测任务中进行评估,研究发现复杂的局部描述符基线虽然残差绝对尺度更小,但在架构代理空间中表现得极不平滑,相对其尺度反而更难学习。论文揭示了面向泛化科学机器学习的目标设计关键机制。
该研究提出了开源且可复现的大模型后训练方案Rufus-Air,基于GLM-4.5-Air-Base模型构建。该方案包含八个串行阶段:SFT、推理强化学习、代码强化学习、指令遵循强化学习、通用智能体、代码智能体、搜索智能体及RLHF。能力训练从基础逐步演进至高级,奖励信号从可验证的硬规则过渡到软性评判。全流程依托开源组件与公开数据,无需新增人工标注,并公开了完整的复现细节与基建配置。
该研究探讨了在硬预算约束下,通过重复评测来准确估计基准测试分数并确保较低不确定性的理论极限。研究在固定任务网格和响应成本限制的框架下,推导出了在完全观察与允许遗漏两种情况下,最差纯群组的最优期望区间宽度理论界限。该理论下界同样适用于自适应硬预算策略,为机器学习模型的基准评测设计与置信度验证提供了严格的理论依据。
针对自动语音识别(ASR)在处理长音频时难以准确、一致转录专业术语的问题,研究人员提出了基于大语言模型的智能体 Agentic-GER。该系统利用完整转录文本的全局上下文与世界知识,识别可疑术语并化解歧义假设;同时通过选择性重新转录原始语音来核验候选修正结果,显著提升了长语音中领域专业术语的识别准确率与一致性。
该研究探讨了大语言模型智能体的持久记忆机制,旨在不更新权重的前提下持续改进提示与技能。研究发现,将检索范围与认证范围精确匹配,能有效防止跨任务族的干扰,支持在重复出现的任务族中实现可靠适应。研究人员在12轮代码修复数据流ProcStream-RSI上对冻结模型智能体进行了测试,并使用基于执行的正交回归控制门控机制,证实仅在技能生成的原始任务族内检索该技能,可显著提升轨迹效用。
本研究探讨利用分布式声波传感(DAS)与深度学习技术进行高时空分辨率城市交通动态监测。DAS通过复用现有的地下光纤电缆作为密集连续的传感器阵列,能够以米级空间分辨率和秒级时间分辨率对道路交通活动进行被动且保护隐私的实时监测。该研究旨在验证DAS结合深度学习在智慧交通感知中的有效性(注:原文摘要信息有所截断,具体实验指标未详述)。
深度搜索要求大语言模型智能体分解复杂查询、检索证据并合成可靠答案。然而现有的 ReAct 架构智能体存在角色耦合(单策略兼顾规划、证据利用与合成)以及搜索历史累积导致上下文噪声增加的问题。为此,研究团队提出 IterSynth 范式,通过角色解耦与基于摘要的状态演进机制,在负责识别信息需求的规划器与负责整合证据的合成器之间交替执行,有效改善了深度搜索智能体的长程推理与信息合成能力。
该研究针对生成式搜索中答案虽有引用却可能遗漏改变语义解释的源关系这一问题,提出了一种主张门控审计规范。该机制对“查询-来源-答案”三元组进行审计,仅在关系证据、答案采纳、实质性与披露四项要素均被观测时判定存在遗漏,避免将证据不全误判为独立无关。该规范将判定结果绑定至带版本控制的证据片段,并通过引用检查器使审计记录契约可执行,提升了生成式搜索溯源审计的可靠性。
该研究针对机制可解释性技术难以随大语言模型规模与深度扩展的问题,提出了一种新型架构——流递归模型(SRM)。SRM 是对分层推理模型(HRM)的改进,通过将计算过程组织为多个相互交互的潜在流,在保持模型可扩展性的同时暴露其内部计算结构。该工作旨在通过设计天然具备可解释性结构的小型模型,为验证和理解模型内部行为提供新的探索路径。
该研究探讨了基于重构的无监督异常检测在模型过度拟合异常或丢失正常变异时的失败机理。论文借助“子空间追求”(PoS)假说,从交集、并集和联接几何视角对失败模式进行理论表征:模型容量过大易引发联接盲区,容量不足则会导致交集偏好与正常保真度下降。研究证明紧凑的正常数据并集是最优保真范围,通常依赖非线性重构映射实现。
该研究针对大语言模型智能体在复杂工具使用任务中的技能自我进化问题展开探索。论文指出,复杂任务通常存在多种有效解题路径,失败轨迹往往也包含前期的有效进展而非全盘皆错。因此,研究提出不应将失败轨迹强行与固定成功路径对齐或进行粗粒度反思,而应精确定位有效求解向错误偏离的转折点,通过偏差引导的方式实现智能体技能的高效自我进化与演进。
该研究针对大模型同策略蒸馏(OPD)缺乏教师模型隐层思考过程的问题展开探索。尽管引入隐状态监督(Latent supervision)能对齐学生与教师模型的内部状态,但在将Qwen3-4B/8B蒸馏至Qwen3-1.7B-Base的实验中,研究人员发现该方法存在“早期增益、后期崩溃”的失效现象,MATH-500准确率虽迅速提升但随后崩溃。为此,论文提出了LastOPD方法以抑制此类崩溃。
该论文针对科学断层扫描中神经场优化的核心难题展开研究。作者指出,由于2D到3D的正向映射为多对一关系,较低的2D图像误差并不能保证隐式3D物理场的准确性,且该隐式场在训练中缺乏直接监督。为此,研究团队提出了CoroNeRF框架,利用可微原子发射渲染器,直接从多视角、多谱线辐射强度中联合优化3D电子密度与温度场,并在日冕断层扫描场景中进行了测试与验证(注:原摘要结尾处有所截断)。
针对振动光谱预测在跨化学空间场景下易受局部立体电子环境扰动而导致精度下降的问题,研究提出 SO(3) 等变神经卡尔曼网络(SENK)。该框架构建了响应态级联结构,融合了用于学习 Hessian 矩阵、偶极导数及极化率导数的等变 Transformer 骨干网络,通过等变神经卡尔曼桥实现状态依赖精炼与可靠性感知,并结合 NBO 电子先验以提升光谱表征的可迁移性。