Google Developers Blog·· 15 天前AI 评分22
在 MaxText 中复现 Ai2 Olmo 3 7B 预训练：TPU 大规模训练案例研究
Reproducing Olmo 3 7B Pre-training in MaxText: case study of large scale training on TPUs
AI 导读
Google 团队在 Google Cloud TPU 上用 MaxText 从零复现了 Ai2 的 Olmo 3 7B，覆盖 stage-1 预训练与 stage-2 mid-training anneal，并在留出指标上验证匹配。
来源：Google Developers Blog · developers.googleblog.com