vLLM Releases· cquil11·· 2 天前AI 评分12
vLLM v0.31.1rc0 按缓存层级暴露缓存提示词 token 指标
v0.31.1rc0: [Metrics] Expose cached prompt tokens by cache tier (#56318)
AI 导读
vLLM 发布 v0.31.1rc0，新增按缓存层级（cache tier）暴露缓存提示词 token 的指标（#56318）。该改动由 Cam Quilici 提交，Nick Hill 与 Yifan Qiao 共同参与。
来源：vLLM Releases · github.com