Google发布TorchTitan TPU训练分支

Google 发布 TorchTitan TPU，这是 Meta TorchTitan 的适配分支，让模型可直接在 Google Cloud TPU 上训练，无需改写为 JAX 或使用 torch_xla。该分支基于 TorchTPU 的原生 torch.device("tpu") 后端，代码托管在 google-pytorch/torchtitan 仓库。 Google 同时说明了几项限制：TorchTPU 尚不支持 PyTorch 的 torch.Stream 抽象，因此把 eager 模式的 FSDP2 与逐层 torch.compile 混用会受限；混合专家（MoE）检查点可走同一路径，但暂不支持专家并行。Google 称，这些能力在 Google Cloud 上线后将由 TorchTitan 支持，并沿用相同配方。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。