llama.cpp Releases· shaofeiqi·· 5 小时前AI 评分22
llama.cpp b12069 为 OpenCL 后端新增 iq4_xs 量化支持
b12069: opencl: add initial iq4_xs support (#31339)
AI 导读
llama.cpp 发布 b12069,为 OpenCL 后端加入 iq4_xs 量化格式的初始支持。该版本针对 Adreno GPU 实现了 noshuffle gemm/gemv、dp4a 路径,并优化了 iq4_xs 的 decode 与窄批次处理。相关改动由高通工程师参与贡献,Codex 提供辅助。
来源:llama.cpp Releases · github.com