自动语音识别（ASR）模型通常在全精度下接受人口统计公平性审查，但实际生产部署的模型大多经过量化、剪枝和蒸馏等压缩处理。该研究探索了后训练权重压缩是否会重新分配不同人口群体的识别错误负担。在Fair-Speech、Common Voice 25和AfriSpeech-200等数据集上的评测显示，对Whisper-large-v3执行50% Wanda剪枝会显著拉大黑人/非裔与亚裔群体间的词错误率差距，表明压缩会复合加剧时间成本与识别公平性差异。
该研究针对微控制器级的三值（1.58-bit）权重语言模型进行了严格的受控复验。此前有研究称混合路由三值模块在6万参数规模下性能超越参数匹配的全精度Transformer达22%，并归因于归纳偏置。研究人员通过固定训练配方、多随机种子及98次测试进行复查，发现基线Transformer的具体结构形状对性能起主导作用，揭示了此前结论可能受基线设计差异误导，强调了极小模型对比的评估规范。
针对Transformer语言模型在自回归生成中长上下文计算开销大的问题，研究人员提出了一种序列计算蒸馏方法。该方法观察到许多相邻Token片段具有高度可预测性或常作为稳定单元出现，因而具备可压缩性。研究设计了一个轻量级合并模块，可动态将输入的多个Token片段替换为单个折叠表征，利用该替代嵌入捕捉原多Token序列的功能角色，从而减少序列计算开销并提升处理效率。
针对长流程大语言模型智能体积累海量交互历史带来的效率挑战，现有压缩策略通常独立评估单条记录，忽略了组合删除所引起的冗余或累积信息损失。为此，研究团队提出了直接关系集合风险修剪（DRSR）框架。该方法将智能体历史上下文压缩建模为基于删除集合的风险约束选择问题，从集合层面综合评估删除风险与保留信息，在保障决策安全与任务表现的前提下，实现了长程智能体的高效修剪。