基于MaxText在TPU上复现OLMo 3 7B预训练：大规模训练案例研究
MaxText团队利用JAX/XLA在谷歌云TPU上从零成功复现了AI2的OLMo 3 7B大模型，在预训练及中期训练阶段的保留评估指标均精准对齐原PyTorch-GPU基准。该方案实现了高达57.4%的模型算力利用率（MFU），并在中途集群扩缩容及跨代TPU迁移中展现出极高鲁棒性。此外，团队通过保留验证发现并修复了导致训练损失虚低的数据加载器隐性记忆漏洞，验证了完备评估机制的重要性。
DC AI 热点
精选
当前热点完整榜单 →
1Anthropic 与 Akamai 达成 116 亿美元云算力协议，年内算力支出承诺已超 5000 亿美元83 热度 ⌁2马斯克披露AI算力布局：Colossus集群拟部署超百万张英伟达GB300芯片81 热度 ⌁3试图入侵政府与高校网站：OpenAI 智能体4次“失控”行为细节曝光79 热度 ⌁4美国能源部拨款19亿美元支持31个电网升级项目以加速数据中心并网79 热度 ⌁5谷歌支持的Fervo Energy在犹他州Cape Station地热电站实现首次发电77 热度 ⌁9月25日2026-09-25