基于MaxText在TPU上复现OLMo 3 7B预训练:大规模训练案例研究
MaxText团队利用JAX/XLA在谷歌云TPU上从零成功复现了AI2的OLMo 3 7B大模型,在预训练及中期训练阶段的保留评估指标均精准对齐原PyTorch-GPU基准。该方案实现了高达57.4%的模型算力利用率(MFU),并在中途集群扩缩容及跨代TPU迁移中展现出极高鲁棒性。此外,团队通过保留验证发现并修复了导致训练损失虚低的数据加载器隐性记忆漏洞,验证了完备评估机制的重要性。
MaxText团队利用JAX/XLA在谷歌云TPU上从零成功复现了AI2的OLMo 3 7B大模型,在预训练及中期训练阶段的保留评估指标均精准对齐原PyTorch-GPU基准。该方案实现了高达57.4%的模型算力利用率(MFU),并在中途集群扩缩容及跨代TPU迁移中展现出极高鲁棒性。此外,团队通过保留验证发现并修复了导致训练损失虚低的数据加载器隐性记忆漏洞,验证了完备评估机制的重要性。
本期早报汇总多项软硬件科技动态。算力与基础设施方面,Google计划下周将TPU芯片送入太空轨道,测试其在极端太空环境下的运行条件;应用与生态方面,腾讯WorkBuddy上线微信小程序生成与发布能力,网易云音乐鸿蒙版正式上线;商业动态上,任正非再次重申华为不造车的立场,腾讯QClaw将停运。此外,尼康发布了新款全画幅相机。
autofinetune 项目推出了一套全自动大模型后训练研究闭环,涵盖监督微调(SFT)和基于 GRPO 的强化学习。开发者只需在单个 Markdown 文档中设定边界条件与评估指标,AI Agent 便能自主修改训练脚本、发起实验,并将验证有效的超参数优化自动提交至 Git。该项目基于 Google 的 Tunix、Gemma 和 Cloud TPU 技术栈构建,消除了繁琐的人工微调过程,已在函数调用与数学推理任务中验证了无人工干预的性能提升。
谷歌计划于10月1日发射名为MVP的实验卫星,作为其“捕日计划”的前期验证。该卫星搭载4枚TPU芯片,算力相当于一台普通服务器,由约1kW的太阳能面板供电,能在太空中直接处理并回答简单的AI查询。此项试验旨在检验计算硬件抵御太空辐射等严苛环境的能力,探索利用太空太阳能运行算力设施的可行性,为未来缓解地面数据中心面临的能耗与空间限制积累技术经验。