Drift Contract:结合谱更新实现深度鲁棒的局部学习算法
局部学习通过各层独立的辅助损失避免了全局反向传播,具备天然的结构并行优势,但长期受困于深度增加时的精度衰减和超参数脆弱性。该研究首次将类似 Muon 的谱更新几何(包含动量正交化与谱步长缩放)应用于逐层局部更新。在 CIFAR-10 MLP 基准测试中,该方法在深度 12 至 48 层、宽度 128 至 2048 的范围内,仅需单一固定步长即可取得最优表现,显著提升了局部学习对网络深度的鲁棒性。
局部学习通过各层独立的辅助损失避免了全局反向传播,具备天然的结构并行优势,但长期受困于深度增加时的精度衰减和超参数脆弱性。该研究首次将类似 Muon 的谱更新几何(包含动量正交化与谱步长缩放)应用于逐层局部更新。在 CIFAR-10 MLP 基准测试中,该方法在深度 12 至 48 层、宽度 128 至 2048 的范围内,仅需单一固定步长即可取得最优表现,显著提升了局部学习对网络深度的鲁棒性。
针对心电图(ECG)和脑电图(EEG)等生理时间序列在复杂时序结构与高决策透明度方面的需求,现有深度学习模型往往缺乏对异常原因及局部关联的可解释性。研究团队提出了一种名为 Signal2Symbol 的神经符号框架,旨在实现可解释的生物信号异常检测。该方法首先将连续的生理信号转化为符号序列,进而结合神经符号时序推理,提升检测决策的透明度与规律挖掘能力。
针对金融时间序列在多时间尺度预测中重复计算不变表征的难题,研究者提出了分层联想共振网络(HARN)。该模型专为事件驱动的多周期预测设计,通过在不同时间层级维护持久化表征,仅在对应周期的K线数据生成完成后才触发该层更新,显著避免了冗余计算。其架构综合了因果多尺度时间编码、门控联想记忆、跨层级共振以及分层证据聚合机制。
传统事后概率校准通常假设留出校准集标签完全干净,但在实际落地场景中,校准标签往往受弱标注或启发式规则影响而存在噪声。为此,研究人员针对表格分类器提出了一种名为LWCal的轻量级事后校准器。该方法仅依赖CPU运行,通过降低与基模型留出预测概率相矛盾的含噪样本权重,在无需干净验证集的情况下完成有效校准,解决了弱监督或含噪环境下的概率可靠性问题。
针对非心脏大手术后急性肾损伤(AKI)早期术中风险分层难的问题,该研究提出了一种名为 SynerT 的纯波形混合时序骨干网络。该网络结合了因果扩张时间卷积网络(TCN)与分层扩张循环层,用于编码术中早期生理轨迹。此外,研究还构建了引入结构化临床背景的多模态扩展变体 SynerT-MM 进行晚期融合预测。注:输入素材尾部存在文本截断,后续具体融合细节未完全展示。
针对大语言模型在标准对齐后输出同质化、难以满足用户多样化偏好的问题,研究人员提出了COPE优化框架。现有免训练方法多依赖提示工程占用上下文窗口,而微调方法在训练后保持静态,无法持续适应动态偏好。COPE结合个性化用户嵌入与模型自评估机制,有效克服了现实场景中用户反馈稀疏的挑战,实现了大语言模型在部署后的持续个性化优化。
关系深度学习将多表数据库建模为异构时序图,目前图Transformer在该领域表现优异。然而,现有代表性模型RelGT存在局部采样子图连接松散阻碍消息传递,以及全局注意力依赖单一特征记忆而忽视宏观动态的两大缺陷。为此,研究人员提出了QUARTET架构,通过结合四分支交叉注意力与随机游走轨迹,增强全自注意力机制在关系图表征中的表达能力。
工具结果缓存可显著减少智能体训练中的重复计算,但也会耦合采样过程的随机性。最新研究通过一个双动作模型证明,即使独立执行与共享执行在边际上保持了每个采样的条件奖励分布一致,在组内共享随机结果仍可能导致预期的组归一化策略更新方向发生反转。理论推导表明,共享缓存更新反映的是胜负概率之差而非期望奖励之差,揭示了智能体强化学习中常见工程优化策略潜在的算法偏差风险。
在物理数据同化(DA)工作流中,通常需要平滑算法能够表示物理状态变量的非高斯后验分布,并适配高维物理模拟器。针对这一需求,研究人员提出了 PR-Smoother,一种保留模拟器的摊销平滑方法。该方法的核心设计在于,在证据下界与变分分布族中均显式保留既定的物理模拟器,而非训练替代动力学模型或学习完整轨迹,从而在仅依赖观测窗口训练的同时,保持与模拟器校准的良好兼容性。
在堆叠异构视觉骨干网络(如CNN、ViT及其混合架构)以提升精度、校准度与鲁棒性时,常受制于预测空间多重共线性与校准崩溃两大耦合问题。多重共线性会导致元学习器解不稳定,而简单线性堆叠则会加剧各模型的未校准问题,导致模型越多期望校准误差反而越差。现有解决方案均无法同时解决这两种缺陷,为此该研究提出了基于元学习的深度堆叠泛化方法CORE-STACK+以克服这些限制。
事后重标记通过将转移目标事后替换为实际达到的结果,是提升强化学习样本效率的有效手段。然而,将其自然扩展至偏好条件的多目标强化学习(MORL)时,本研究发现该方法往往适得其反。在 MO-Gymnasium 连续控制测试套件中,针对涵盖两种 Critic 主干和偏好采样方案的四种离线策略算法测试表明,此类重标记会导致性能退化并引发偏好覆盖崩溃。(注:原文摘要结尾处不完整)
针对大规模不平衡表格数据在梯度提升树训练中算力消耗过高的问题,研究人员提出了一种名为 CRISP 的线性时间核心集剪枝方法。该方法依据代理模型打分的分位数分层分配多数类(负类)样本预算,并通过样本加权校正不等采样概率。在真实生产级反欺诈数据集上的测试表明,在削减 95% 负类样本、数据总量缩减 93.2%(从 2500 万行降至约 170 万行)的情况下,该模型仍能保留全量数据 99.7% 的平均精度。
传统通用微分方程(UDE)训练依赖通过数值微分方程求解器进行反向传播,其巨大的内存开销远超边缘微控制器的承受能力。为此,研究团队提出TinyUDE框架,引入免求解器的李-泰勒射流匹配方法,将混合向量场直接拟合至观测状态的一阶与二阶时间导数。系统通过Savitzky-Golay滤波实现在线导数估计,在无需自动微分库的情况下获得完全解析梯度,有效攻克了受限边缘设备上的动态系统训练难题。
针对多智能体系统中去中心化环境下统一模型维护的难题,本文提出了两种用于多输出高斯过程回归的高效分布式递归高斯过程算法:ADMM-RGP与PDMM-RGP。该研究解决了多智能体在仅依赖本地测量和邻居通信时的高效协同计算问题,能够在量化预测不确定性的同时降低通信与计算开销,为多智能体系统的分布式学习与状态估计提供了新的理论与算法支持。
残差矢量量化(RVQ)可将生理波形转换为紧凑的标记序列,但传统掩码建模通常将所有错误标记赋予相同的代价。为此,研究人员提出 GeoRVQ,这是一种由粗到细的掩码标记模型,其优化目标结合了冻结波形解码器的局部响应。该模型通过解码器诱导的成本构建了几何感知软目标与期望失真,并遵循量化因果依赖进行预测。在 MIMIC-IV、VitalDB 和 CODE-15% 等数据集上的实验表明,GeoRVQ 显著提升了标记预测的准确性。
该研究针对预训练流式生成模型的下游奖励微调问题,提出了一种名为Wasserstein倾斜流的新框架。传统方法多将其表述为基于KL散度正则化的奖励倾斜分布采样,而本研究构建了直接基于预训练漂移的最优传输正则化项。与传统的重加权基分布不同,该目标直接将单个样本输运至高奖励区域,使其等价于一种确定性过程,从而实现了免仿真的强化学习模型优化。
针对聚合物性质预测领域缺乏开源、标准化基准且覆盖聚合物结构狭窄的问题,研究团队推出了PolyBench26开源数据集。该基准包含近25万条聚合物性质数据点,涵盖实验测量、密度泛函理论和分子动力学模拟得出的8种物理性质。该数据集支持均聚物、交替共聚物、无规共聚物和嵌段共聚物等多结构类型的四类评估任务,旨在促进机器学习方法在聚合物科学中的规范化评估与对比。
许多用于节点分类的图神经网络(GNN)将线性分类器应用于局部消息的非负混合中。预测错误往往源于混合权重不佳或可达 logit 集合的几何位置不适合该分类器。该研究通过精确质量线性规划和两种后验修复方法区分了这两类原因。研究表明,每个重加权预测都对应一个中心化的 logit 平移。在8个数据集、8个 GNN 骨干网络及10种划分上的实验表明,重加权使冻结模型的平均准确率从62.6%提升至63.8%。
该研究探讨了在存在未观测混杂因素的历史观测数据中学习风险评分的难题,此类评分通常用于指导稀缺资源分配或干预措施的优先级。尽管逆倾向加权等传统方法尝试校正观测数据带来的偏差,但在存在未观测混杂时仍面临严峻挑战。本研究旨在提出能够在混杂偏差下保持鲁棒性的评分学习方案。注:原始摘要文本末尾有所截断,具体方法细节未完全披露。
该研究针对可解释性与表征学习中的“线性表征假说”提出了理论层面的反思。作者指出,要让关于表征的结论跨越具体训练模型实现泛化,必须明确两个表征何时被视为等价。由于现有讨论普遍缺乏对等价性的明确定义,导致看似研究同一表征的指标、探测器和干预手段实际上可能对应着不同的假设。研究认为,线性表征假说并非单一假设,而是由不同表征等价性所区分的一个假说家族。
该研究探讨了大语言模型在推理任务中的“能力”(解题正确率)与“效率”(所需资源消耗)两个核心维度。当模型利用思维链(CoT)处理不同难度的问题时,正确率和所需Token数量均受问题难度与模型规模影响,但两者的联合作用机制此前尚不明确。研究采用分层贝叶斯方法建模分析,旨在揭示模型规模与问题难度如何共同影响推理期的能力与效率扩展。(注:原文摘要存在截断)
在物理人工智能(Physical AI)领域,AI系统需兼顾高预测精度并保持动态系统的基本物理特性。为此,研究人员提出了一种深度离散时间耗散循环神经网络(DissipNet)。该网络通过结构化权重约束和专用训练算法,显式强化了耗散性这一关乎系统稳定性和能量耗散的关键物理属性,旨在提升对真实世界动态系统的建模、预测与控制能力。
针对去中心化零阶学习中稀疏通信面临的节点状态坐标对齐问题,该研究提出了 ZO-COSMO 算法。该方法结合了双查询梯度估计与保均值掩码共识机制,匹配更新仅需在通信节点对内部达成一致,消除了全局索引协调的需求。论文给出了严格的单标量收缩界,并为核心更新及稀疏动量更新提供了收敛性理论保证,有效降低了去中心化黑盒优化的通信复杂度。
序列推荐系统通过用户历史交互序列驱动下一步决策,是现代个性化服务的核心。基于CNN和Transformer的深度学习架构虽能有效捕获时序依赖,但其非线性特征导致模型沦为黑盒。为了提升模型透明度与信任度,帮助开发者审查模型行为并为用户提供推荐依据,该研究针对序列推荐系统中的时序归因可解释性方法展开系统化基准评估(注:原论文摘要结尾存在截断,具体评估结果详见完整论文)。
针对大规模图神经网络(GNN)训练中传统采样标准易忽略边几何角色的问题,本研究提出了一种由电阻曲率引导的高效子图采样框架。该方法依托面向大图的曲率近似算法 ERC-LG,结合 Johnson-Lindenstrauss 投影与多 GPU 批处理共轭梯度求解器,避免了昂贵的显式拉普拉斯伪逆计算和全局嵌入存储,能有效利用几何曲率指导节点与边的采样概率。注:原始摘要文本在实验部分存在截断。
该研究聚焦于多元保形预测(CP)这一具备有限样本覆盖保证的无分布不确定性量化框架。针对现有最小体积方法依赖分位数阈值、忽略尾部残差严重性并将几何学习与覆盖水平隐式绑定的问题,研究团队提出了一种用于保形椭球的尾部感知几何学习框架。该方法成功将几何学习中的尾部敏感性与最终覆盖保证解耦,从而提升了多元预测集的构建效率与几何表征能力。
针对功能性磁共振成像(fMRI)基础模型中数据规模、模型大小与算力关系尚不明确的问题,研究团队进行了一项系统性的对照实证扩展研究。该研究汇聚了超过200个源数据集的预训练数据,消耗逾10,000个GPU时。在固定预训练框架与下游评测协议的条件下,系统探究了数据量、参数量和训练时长的协同变化规律,结果显示下游任务性能总体上随着计算量的增加而提升。
针对 AI 虚拟细胞模型在预测生物干预响应时可能并未真正利用输入信息的“预测-主张差距”,研究团队提出了审计框架 CELLAUDIT。在大模型智能体自动发现和迭代预测模型的场景下,CELLAUDIT 从源码计算路径、拟合依赖性以及实际预测贡献三个维度切入,系统性验证模型对输入扰动信息的使用主张是否属实,以确保智能体生成的科学预测模型具备真正的因果有效性和可靠性。
该研究提出了一种面向在线自适应的贝叶斯神经网络训练方法。研究将神经网络各层视为状态空间模型的时间步,把贝叶斯训练转化为平滑问题:前向过程传播高斯矩,反向 RTS 平滑过程则以闭式解更新权重后验。这种方法单次遍历即可完成学习,具备不确定性感知能力,且无需梯度迭代或经验回放,非常适用于高数据效率的在线自适应场景。针对以往方法受限于激活对角协方差的瓶颈,该工作展开了全协方差平滑研究。
针对自回归语言模型仅能通过序列分解间接表示全局结构、缺乏类似图像领域的忠实连续表征这一问题,研究人员提出了LLMAE方法。该方法将预训练的仅解码器(decoder-only)大语言模型重新利用为连续文本自编码器,通过在其内部激活状态中构建一个中间固定长度的潜在瓶颈(latent bottleneck),成功为文本生成提供了可操作的高保真连续潜空间表征。