跳到正文
LMDeploy Releases· lvhan028·· 11 天前AI 评分22

LMDeploy v0.18.0 发布

v0.18.0

AI 导读

LMDeploy 发布 v0.18.0,新增输出与输入 logprobs 支持,并扩展 SM90 量化 GEMM、统一 TurboMind 线性执行。该版本为昇腾支持 glm52、为 qwen3.5 支持 dflash,同时加入 PyTorch 版 TurboMind W4A16 AWQ 线性后端原型与分段 CUDA graph 预填充。

来源:LMDeploy Releases · github.com