关系深度学习将多表数据库建模为异构时序图，目前图Transformer在该领域表现优异。然而，现有代表性模型RelGT存在局部采样子图连接松散阻碍消息传递，以及全局注意力依赖单一特征记忆而忽视宏观动态的两大缺陷。为此，研究人员提出了QUARTET架构，通过结合四分支交叉注意力与随机游走轨迹，增强全自注意力机制在关系图表征中的表达能力。
传统语言模型的可解释性电路查找通常需要进行大量复杂的干预实验。该研究提出了一种轻量化新方法，将单次前向传播中的注意力视为路由图，筛选出指向答案的关键路径。在归纳和间接宾语识别（IOI）任务中，消融该方法提取的边对模型性能的破坏显著高于随机消融。研究在GPT-2与Pythia模型上验证了该方法的有效性，为低成本理解模型内部机制提供了新路径。
针对Transformer语言模型在自回归生成中长上下文计算开销大的问题，研究人员提出了一种序列计算蒸馏方法。该方法观察到许多相邻Token片段具有高度可预测性或常作为稳定单元出现，因而具备可压缩性。研究设计了一个轻量级合并模块，可动态将输入的多个Token片段替换为单个折叠表征，利用该替代嵌入捕捉原多Token序列的功能角色，从而减少序列计算开销并提升处理效率。
针对循环语言模型在每个循环步骤重复计算全局注意力导致的高开销问题，研究人员分析了跨循环深度的注意力动态。研究发现，注意力分布和支撑集稳定的时间显著早于隐藏状态与输出，呈现出两阶段特征：前期步骤先确定相关上下文的稀疏工作集，后期步骤则在基本固定的路由支撑上细化表征。基于该发现，论文提出了名为 WISE 的工作集推理方法以优化推理过程（原文摘要末尾有所截断）。