llama.cpp Releases· github-actions[bot]·· 7 小时前精选AI 评分62
llama.cpp 发布 v0.9.0，新增 FP8 E4M3 量化与多序列 KV 缓存优化
v0.9.0
AI 导读
llama.cpp 发布 v0.9.0，新增 OCP FP8 E4M3 量化支持、让统一 KV 缓存适配多序列推理的 flash_attn_ext_rows 算子，以及通用批量张量拷贝 API。
推荐理由
llama.cpp v0.9.0 的更新清单展示了本地推理框架在多序列 KV 缓存、FP8 量化和新模型适配上的一次集中推进。
来源：llama.cpp Releases · github.com