Transformer语言模型的序列计算蒸馏方法
针对Transformer语言模型在自回归生成中长上下文计算开销大的问题，研究人员提出了一种序列计算蒸馏方法。该方法观察到许多相邻Token片段具有高度可预测性或常作为稳定单元出现，因而具备可压缩性。研究设计了一个轻量级合并模块，可动态将输入的多个Token片段替换为单个折叠表征，利用该替代嵌入捕捉原多Token序列的功能角色，从而减少序列计算开销并提升处理效率。
DC AI 热点
全部 AI 动态
9月24日2026-09-24
基于Transformer的OpenXR实时手势识别系统
该研究针对人机交互、虚拟现实及机器人等应用场景，提出了一种基于Transformer架构的实时手势识别系统。研究团队利用Unity中通过OpenXR标准捕获的手部追踪数据，结合手部关节位置与手腕旋转角度信息进行模型训练。依托Transformer出色的序列建模能力，该系统能够有效捕捉短手势中的时序依赖关系，从而实现高精度的实时手势识别与交互。
序列推荐系统时序归因可解释方法系统基准测试
序列推荐系统通过用户历史交互序列驱动下一步决策，是现代个性化服务的核心。基于CNN和Transformer的深度学习架构虽能有效捕获时序依赖，但其非线性特征导致模型沦为黑盒。为了提升模型透明度与信任度，帮助开发者审查模型行为并为用户提供推荐依据，该研究针对序列推荐系统中的时序归因可解释性方法展开系统化基准评估（注：原论文摘要结尾存在截断，具体评估结果详见完整论文）。
研究揭示Transformer注意力头数对序列有序性判断的表达能力界限
该研究探讨了Transformer架构在序列排序判断任务中的表达能力。论文证明，判断一个比特序列是否处于有序状态的任务无法由单头单层（1-head 1-layer）Transformer完成，但可以通过双头单层（2-head 1-layer）Transformer实现。与以往同类理论成果不同的是，该研究的结论建立在模型包含输出多层感知机（MLP）的架构设定之下。