连续扩散语言模型推理突破:ELF-REG将连续扩散架构扩展至数学与代码任务
该研究针对全连续扩散语言模型(dLM)在复杂推理任务中落后于自回归(AR)模型的难题,提出了ELF-REG架构。研究团队将嵌入语言流(ELF)拓展至GSM8K、MATH-500、HumanEval等数学与代码基准,并引入结合表征对齐与纠缠的机制(REPA+REG),通过冻结的AR教师模型监督中间去噪步骤,有效提升了连续扩散模型并行解码与复杂逻辑推理的扩展能力。
该研究针对全连续扩散语言模型(dLM)在复杂推理任务中落后于自回归(AR)模型的难题,提出了ELF-REG架构。研究团队将嵌入语言流(ELF)拓展至GSM8K、MATH-500、HumanEval等数学与代码基准,并引入结合表征对齐与纠缠的机制(REPA+REG),通过冻结的AR教师模型监督中间去噪步骤,有效提升了连续扩散模型并行解码与复杂逻辑推理的扩展能力。