注意力路由提前稳定：面向循环语言模型的工作集推理机制
针对循环语言模型在每个循环步骤重复计算全局注意力导致的高开销问题，研究人员分析了跨循环深度的注意力动态。研究发现，注意力分布和支撑集稳定的时间显著早于隐藏状态与输出，呈现出两阶段特征：前期步骤先确定相关上下文的稀疏工作集，后期步骤则在基本固定的路由支撑上细化表征。基于该发现，论文提出了名为 WISE 的工作集推理方法以优化推理过程（原文摘要末尾有所截断）。
DC AI 热点
全部 AI 动态
9月24日2026-09-24
mlxrunner 发布 v0.34.4-rc1：升级 XGrammar 0.2.7 优化结构化输出
mlxrunner 发布了 v0.34.4-rc1 预发布版本。该版本将 XGrammar 依赖项升级至 0.2.7 版本，以改善模型的结构化输出能力。本次更新重点包含针对模式（Schema）的修复，解决了带类型字典值以及短数组在处理过程中的相关问题。原素材为轻量级版本发布说明，提供的具体技术细节相对有限。
微软提出机器人推理卸载架构，以突破物理AI硬件算力瓶颈
微软研究院针对机器人硬件难以跟上AI能力增长的瓶颈，发布了有关“推理卸载”的最新研究成果。研究表明，将AI模型的推理计算任务转移至机器人本体之外的外部计算平台，能够显著提升任务执行的成功率并提高系统效率，同时支持运行更为复杂的先进物理AI工作负载，为智能机器人突破车载硬件限制提供了可行的计算架构方案。