llama.cpp Releases· lhez·· 2 小时前AI 评分22
llama.cpp b11918 为 OpenCL 后端加入 q3_k 量化初步支持
b11918: opencl: initial support for q3_k (#31172)
AI 导读
llama.cpp 发布 b11918,为 OpenCL 后端加入 q3_k 量化格式的初步支持。该版本新增 q3_k 的 AOS/SOA mv、tiled mm 与 noshuffle gemm/gemv,并针对 Adreno GPU 加入 dp4a gemm 及内核调优。
来源:llama.cpp Releases · github.com