跳到正文
llama.cpp Releases· github-actions[bot]·· 2 小时前AI 评分28

llama.cpp b11971 为 Adreno GPU 新增 tiled q4_k GEMM

b11971

AI 导读

llama.cpp 构建 b11971 在 OpenCL 后端为 Adreno GPU 新增 tiled q4_k GEMM,并在 batch > 1 时用 tiled GEMM 运行 tiled q4_K lm_head。该版本还把 tiled dp4a q4_k GEMM 拆分为独立文件并加入 dp4a 检测,由 Codex 辅助完成。

来源:llama.cpp Releases · github.com