vLLM Releases· JaredforReal·· 9 天前AI 评分8
vLLM v0.31.0rc2 发布:修复 Mamba 稀疏场景下的 prompt-end prefill checkpoint 问题
v0.31.0rc2
AI 导读
vLLM 发布 v0.31.0rc2,修复 Mamba 在稀疏场景下 prompt-end prefill checkpoint 的保留问题。该版本为候选发布版,主要针对 Mamba 相关 bug 进行修正。
来源:vLLM Releases · github.com