跳到正文
llama.cpp Releases· github-actions[bot]·· 13 小时前AI 评分40

llama.cpp b11986 为 OpenCL 后端加入 iq2 系列量化支持

b11986

AI 导读

llama.cpp 发布 b11986,为 OpenCL 后端加入 iq2、iq2_s、iq2_xs、iq2_xxs 的初始支持。改动包含 AOS/SOA mv、tiled mm、面向 Adreno 的 noshuffle gemm/gemv 与 dp4a 实现,并优化了 Adreno 上的解码与窄批次场景。该版本同时提供 macOS、Linux、Windows、Android 等多平台构建产物。

来源:llama.cpp Releases · github.com