llama.cpp Releases· github-actions[bot]·· 13 小时前AI 评分40
llama.cpp b11986 为 OpenCL 后端加入 iq2 系列量化支持
b11986
AI 导读
llama.cpp 发布 b11986,为 OpenCL 后端加入 iq2、iq2_s、iq2_xs、iq2_xxs 的初始支持。改动包含 AOS/SOA mv、tiled mm、面向 Adreno 的 noshuffle gemm/gemv 与 dp4a 实现,并优化了 Adreno 上的解码与窄批次场景。该版本同时提供 macOS、Linux、Windows、Android 等多平台构建产物。
来源:llama.cpp Releases · github.com