PTC-Bias:基于音素级时间竞争的语音大模型偏置检索与纠错框架
为解决语音大模型在面对大规模偏置列表时难以高效识别罕见词的问题,研究人员提出了基于音素级时间竞争的两阶段框架PTC-Bias。在预填充阶段,PTC检索通过帧同步音素解码及候选发音间的时间竞争,生成紧凑的偏置词候选短名单及对应的语音区间;在语音大模型解码后,PTC纠错模块在检索出的候选词与不匹配的转录文本片段之间展开二次局部竞争,从而提升识别准确率。
为解决语音大模型在面对大规模偏置列表时难以高效识别罕见词的问题,研究人员提出了基于音素级时间竞争的两阶段框架PTC-Bias。在预填充阶段,PTC检索通过帧同步音素解码及候选发音间的时间竞争,生成紧凑的偏置词候选短名单及对应的语音区间;在语音大模型解码后,PTC纠错模块在检索出的候选词与不匹配的转录文本片段之间展开二次局部竞争,从而提升识别准确率。
该研究针对全双工语音对话模型缺乏显式自然附和(如“嗯”、“对”等应答词)的问题,提出了一种轻量级预测头结构。该机制直接利用全双工模型自身的隐藏状态来预测附和时机,当概率超过设定阈值时即强制解码生成反馈。实验在7B规模的PersonaPlex和1B规模的F-Actor模型上验证了该方法的跨尺度泛化能力,探针分析也证实其隐藏状态能够有效契合人类真实的交谈节奏。