llama.cpp Releases· github-actions[bot]·· 2 小时前AI 评分28
llama.cpp b11971 为 Adreno GPU 新增 tiled q4_k GEMM
b11971
AI 导读
llama.cpp 构建 b11971 在 OpenCL 后端为 Adreno GPU 新增 tiled q4_k GEMM,并在 batch > 1 时用 tiled GEMM 运行 tiled q4_K lm_head。该版本还把 tiled dp4a q4_k GEMM 拆分为独立文件并加入 dp4a 检测,由 Codex 辅助完成。
来源:llama.cpp Releases · github.com