Google Developers Blog·· 16 小时前精选AI 评分78
Google 在 TPU 上发布 PyTorch 原生 vLLM 与 SGLang 推理引擎
Announcing New vLLM and SGLang Inference Engines on TPU
AI 导读
Google 发布基于 TorchTPU 的 vLLM-TorchTPU 和 SGLang-TorchTPU 原生 PyTorch 后端，分别与 Inferact、RadixArk 合作开发，两个引擎已在预览客户的生产环境中运行。
推荐理由
Google 在 TPU 上推出 PyTorch 原生 vLLM 与 SGLang 引擎，并给出公开基准与生产落地情况，可据此判断 TPU 推理栈的可用性。
来源：Google Developers Blog · developers.googleblog.com