跳到正文
llama.cpp Releases· lhez·· 2 小时前AI 评分22

llama.cpp b11918 为 OpenCL 后端加入 q3_k 量化初步支持

b11918: opencl: initial support for q3_k (#31172)

AI 导读

llama.cpp 发布 b11918,为 OpenCL 后端加入 q3_k 量化格式的初步支持。该版本新增 q3_k 的 AOS/SOA mv、tiled mm 与 noshuffle gemm/gemv,并针对 Adreno GPU 加入 dp4a gemm 及内核调优。

来源:llama.cpp Releases · github.com