全部 AI 动态

连续扩散语言模型推理突破：ELF-REG将连续扩散架构扩展至数学与代码任务

该研究针对全连续扩散语言模型（dLM）在复杂推理任务中落后于自回归（AR）模型的难题，提出了ELF-REG架构。研究团队将嵌入语言流（ELF）拓展至GSM8K、MATH-500、HumanEval等数学与代码基准，并引入结合表征对齐与纠缠的机制（REPA+REG），通过冻结的AR教师模型监督中间去噪步骤，有效提升了连续扩散模型并行解码与复杂逻辑推理的扩展能力。