LastOPD：解决隐状态同策略大模型蒸馏中的后期崩溃问题
该研究针对大模型同策略蒸馏（OPD）缺乏教师模型隐层思考过程的问题展开探索。尽管引入隐状态监督（Latent supervision）能对齐学生与教师模型的内部状态，但在将Qwen3-4B/8B蒸馏至Qwen3-1.7B-Base的实验中，研究人员发现该方法存在“早期增益、后期崩溃”的失效现象，MATH-500准确率虽迅速提升但随后崩溃。为此，论文提出了LastOPD方法以抑制此类崩溃。
DC AI 热点
精选
当前热点完整榜单 →
1微软发布新版Copilot超级应用：整合聊天、编程与智能体能力84 热度 ⌁2Anthropic 与 Akamai 达成 116 亿美元云算力协议，年内算力支出承诺已超 5000 亿美元82 热度 ⌁3马斯克披露AI算力布局：Colossus集群拟部署超百万张英伟达GB300芯片80 热度 ⌁4谷歌启动Project Suncatcher：计划下周开展首个太空轨道数据中心测试80 热度 ⌁5Meta推出Muse智能体：为每位用户配备运行Ubuntu的完整云端电脑79 热度 ⌁9月25日2026-09-25