Google发布TPU原生PyTorch推理引擎

Google 发布基于 TorchTPU 的 vLLM-TorchTPU 和 SGLang-TorchTPU 原生 PyTorch 后端，分别与 Inferact、RadixArk 合作开发。Google 称，两个引擎已在预览客户的生产环境中规模化运行。 vLLM 同时启动一个社区贡献 TPU 算力池，向积极为这两个引擎贡献代码的开发者提供免费 TPU 算力。Google 表示，vLLM-Jax 和 SGLang-JAX 仍是重要项目。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。