llama.cpp Releases· github-actions[bot]·· 5 小时前AI 评分22
llama.cpp b11713 发布:CUDA 低比特类型 MMVQ 提速
b11713
AI 导读
llama.cpp 发布 b11713,为 CUDA 后端低比特类型带来更快的 MMVQ 实现(#30517)。该版本同时修复 hip 小 nwarps 下 GCN 在 Q3_K(ncols=2,3)与 Q6_K(ncols=4)上的问题。
来源:llama.cpp Releases · github.com