跳到正文
llama.cpp Releases· github-actions[bot]·· 2 小时前AI 评分28

llama.cpp b12118 发布:OpenCL 后端优化 decode 性能与 FA 支持

b12118

AI 导读

llama.cpp b12118 通过 OpenCL 后端改进 decode 性能,为 q4_K gate up + GLU 启用更多 workgroup。该版本扩展了 FA 对 GQA 的支持,覆盖 GQA 2/6(head size 256)、GQA 16(head size 128、512)及 GQA 2(head size 512)。

来源:llama.cpp Releases · github.com