全部 AI 动态

LLMAE：将预训练大语言模型改造为高保真连续文本自编码器

针对自回归语言模型仅能通过序列分解间接表示全局结构、缺乏类似图像领域的忠实连续表征这一问题，研究人员提出了LLMAE方法。该方法将预训练的仅解码器（decoder-only）大语言模型重新利用为连续文本自编码器，通过在其内部激活状态中构建一个中间固定长度的潜在瓶颈（latent bottleneck），成功为文本生成提供了可操作的高保真连续潜空间表征。