面向生物基础模型的高效混合专家（MoE）训练方法
随着语言模型规模的持续扩大，扩展传统密集架构的计算成本变得愈发昂贵。在密集 Transformer 模型中，每个标记都会经过所有网络层，导致算力消耗剧增。针对这一挑战，该研究探讨了面向生物基础模型的高效混合专家（MoE）训练技术，旨在通过稀疏激活机制降低计算开销，提升大模型在生物医学等特定领域的训练效率与扩展能力。
DC AI 热点
精选
当前热点完整榜单 →
1针对长上下文编程优化，Claude Opus 5.5 正式发布81 热度 ⌁2OpenAI升级ChatGPT语音功能，支持通过语音指令执行复杂工作任务81 热度 ⌁3七校联合开源世界动作模型OpenWAM，构建机器人动作模拟基座79 热度 ⌁4Cerebras推出CS-4晶圆级AI加速器：推理速度号称达GPU系统的30倍78 热度 ⌁5华为发布昇腾950超节点，为十万亿级大模型训推提供底座78 热度 ⌁9月24日2026-09-24