llama.cpp Releases· github-actions[bot]·· 13 小时前精选AI 评分62
llama.cpp b11636 为 SYCL 后端加入 IQ3 权重重排
b11636
AI 导读
llama.cpp 发布 b11636,为 SYCL 后端的 IQ3_S 和 IQ3_XXS 加入持久化权重重排,权重在加载时重排一次,MMVQ 点积改用 dp4a 与 SWAR 符号扩展遍历稠密 super-block,重排感知的反量化也用于批量 prefill GEMM。
推荐理由
llama.cpp 为 SYCL 后端加入 IQ3 权重重排,Intel Arc 上解码吞吐提升五成以上,可据此判断低比特量化在本地推理的收益。
来源:llama.cpp Releases · github.com