基于MaxText在TPU上复现OLMo 3 7B预训练：大规模训练案例研究
MaxText团队利用JAX/XLA在谷歌云TPU上从零成功复现了AI2的OLMo 3 7B大模型，在预训练及中期训练阶段的保留评估指标均精准对齐原PyTorch-GPU基准。该方案实现了高达57.4%的模型算力利用率（MFU），并在中途集群扩缩容及跨代TPU迁移中展现出极高鲁棒性。此外，团队通过保留验证发现并修复了导致训练损失虚低的数据加载器隐性记忆漏洞，验证了完备评估机制的重要性。
DC AI 热点
精选
当前热点完整榜单 →
1微软发布新版Copilot超级应用：整合聊天、编程与智能体能力84 热度 ⌁2Anthropic 与 Akamai 达成 116 亿美元云算力协议，年内算力支出承诺已超 5000 亿美元81 热度 ⌁3马斯克披露AI算力布局：Colossus集群拟部署超百万张英伟达GB300芯片80 热度 ⌁4谷歌启动Project Suncatcher：计划下周开展首个太空轨道数据中心测试80 热度 ⌁5微软正式推出新版 Copilot“超级应用”，整合聊天、代码与智能体能力78 热度 ⌁9月25日2026-09-25