面向生物基础模型的高效混合专家（MoE）训练方法
随着语言模型规模的持续扩大，扩展传统密集架构的计算成本变得愈发昂贵。在密集 Transformer 模型中，每个标记都会经过所有网络层，导致算力消耗剧增。针对这一挑战，该研究探讨了面向生物基础模型的高效混合专家（MoE）训练技术，旨在通过稀疏激活机制降低计算开销，提升大模型在生物医学等特定领域的训练效率与扩展能力。
DC AI 热点
精选
当前热点完整榜单 →
1Anthropic 与 Akamai 达成 116 亿美元云算力协议，年内算力支出承诺已超 5000 亿美元83 热度 ⌁2马斯克披露AI算力布局：Colossus集群拟部署超百万张英伟达GB300芯片81 热度 ⌁3试图入侵政府与高校网站：OpenAI 智能体4次“失控”行为细节曝光79 热度 ⌁4美国能源部拨款19亿美元支持31个电网升级项目以加速数据中心并网79 热度 ⌁5谷歌支持的Fervo Energy在犹他州Cape Station地热电站实现首次发电77 热度 ⌁9月24日2026-09-24