注意力路由提前稳定：面向循环语言模型的工作集推理机制
针对循环语言模型在每个循环步骤重复计算全局注意力导致的高开销问题，研究人员分析了跨循环深度的注意力动态。研究发现，注意力分布和支撑集稳定的时间显著早于隐藏状态与输出，呈现出两阶段特征：前期步骤先确定相关上下文的稀疏工作集，后期步骤则在基本固定的路由支撑上细化表征。基于该发现，论文提出了名为 WISE 的工作集推理方法以优化推理过程（原文摘要末尾有所截断）。
DC AI 热点
精选
当前热点完整榜单 →
1高通发力AI软件生态：收购Modular打造统一软件栈，推进Mojo语言多端支持81 热度 ⌁2Black Forest Labs 推出开源具身智能模型 FLUX 3 Action75 热度 ⌁3谷歌云 API Gateway 支持 MCP：将 REST API 原生转化为 AI Agent 工具74 热度 ⌁4Sakana AI聘请AI先驱Jürgen Schmidhuber担任首席科学顾问74 热度 ⌁5谷歌、OpenAI与Anthropic拟联合组建AI安全标准自律组织SAFA73 热度 ⌁9月24日2026-09-24
DPara：结合并行草稿器与并行投机解码的高效推理框架
针对大模型推理加速，现有并行投机解码（PSD）虽能重叠草稿生成与验证过程，但往往依赖对接受前缀和额外标记的预先猜测，猜错会导致批处理回退至低效的串行起草。论文提出 DPara 框架，在复用高效并行草稿器的同时，确保目标模型验证与起草阶段在每一轮均实现重叠，彻底消除了概率性回退缺陷，保障了投机解码流水线的高效利用。注：素材末尾存在文本截断。