llama.cpp Releases· ORippler·· 10 小时前精选AI 评分58
llama.cpp b12000 合并 OCP FP8 E4M3 支持
b12000: Quant: OCP FP8 E4M3 support (#27512)
AI 导读
llama.cpp 发布 b12000 版本，合并 PR #27512 加入 OCP FP8 E4M3 支持，覆盖 gguf-py 转换、CPU 推理与测试。改动包括新增 FP8 专用编解码测试、为 F8_E4M3 增加 CPU 快速 kernel，并修复 Qwen3.8-27B-NVFP4 等模型转换中逐行 FP8 被误判为 NVFP4 的问题。
推荐理由
llama.cpp 的这次合并把 OCP FP8 E4M3 从转换到 CPU 推理的链路补齐，可据此判断 FP8 模型在本地部署的可用程度。
来源：llama.cpp Releases · github.com