Transformer语言模型的序列计算蒸馏方法
针对Transformer语言模型在自回归生成中长上下文计算开销大的问题，研究人员提出了一种序列计算蒸馏方法。该方法观察到许多相邻Token片段具有高度可预测性或常作为稳定单元出现，因而具备可压缩性。研究设计了一个轻量级合并模块，可动态将输入的多个Token片段替换为单个折叠表征，利用该替代嵌入捕捉原多Token序列的功能角色，从而减少序列计算开销并提升处理效率。
DC AI 热点
全部 AI 动态
9月24日2026-09-24
注意力路由提前稳定：面向循环语言模型的工作集推理机制
针对循环语言模型在每个循环步骤重复计算全局注意力导致的高开销问题，研究人员分析了跨循环深度的注意力动态。研究发现，注意力分布和支撑集稳定的时间显著早于隐藏状态与输出，呈现出两阶段特征：前期步骤先确定相关上下文的稀疏工作集，后期步骤则在基本固定的路由支撑上细化表征。基于该发现，论文提出了名为 WISE 的工作集推理方法以优化推理过程（原文摘要末尾有所截断）。