连续扩散语言模型推理突破：ELF-REG将连续扩散架构扩展至数学与代码任务
该研究针对全连续扩散语言模型（dLM）在复杂推理任务中落后于自回归（AR）模型的难题，提出了ELF-REG架构。研究团队将嵌入语言流（ELF）拓展至GSM8K、MATH-500、HumanEval等数学与代码基准，并引入结合表征对齐与纠缠的机制（REPA+REG），通过冻结的AR教师模型监督中间去噪步骤，有效提升了连续扩散模型并行解码与复杂逻辑推理的扩展能力。
推荐理由探索了利用连续扩散模型替代自回归架构解决复杂推理与代码生成的前沿方向，具有较高的学术创新价值。
原标题：ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks
阅读 arXiv 自然语言处理 原文 ↗