全部 AI 动态

基于MaxText在TPU上复现OLMo 3 7B预训练：大规模训练案例研究

MaxText团队利用JAX/XLA在谷歌云TPU上从零成功复现了AI2的OLMo 3 7B大模型，在预训练及中期训练阶段的保留评估指标均精准对齐原PyTorch-GPU基准。该方案实现了高达57.4%的模型算力利用率（MFU），并在中途集群扩缩容及跨代TPU迁移中展现出极高鲁棒性。此外，团队通过保留验证发现并修复了导致训练损失虚低的数据加载器隐性记忆漏洞，验证了完备评估机制的重要性。