LMDeploy Releases· lvhan028·· 2026-06-16AI 评分22
LMDeploy v0.14.0a2 发布:支持 Qwen3 Omni 与 Qwen3.5 推理
v0.14.0a2
AI 导读
LMDeploy 发布 v0.14.0a2,新增 FP8 KV cache 量化、Qwen3 Omni 支持,并在 turbomind 后端支持 Qwen3.5(vit)推理。该版本还加入 OpenAI Responses 兼容端点,扩展 chat completions 与 v1/messages 的 token 输入输出并返回 routed experts。
来源:LMDeploy Releases · github.com