跳到正文
llama.cpp Releases· joelagnel·· 7 小时前AI 评分22

llama.cpp b11730:CUDA 后端为 MMQ Stream-K 的 block 数量设上限

b11730: cuda: cap MMQ Stream-K blocks at available work (#30553)

AI 导读

llama.cpp 发布 b11730,在 CUDA 后端将 MMQ Stream-K 的 grid 上限压到实际 k-block 数量,避免小矩阵场景下出现无工作的多余 CUDA block,减少启动与 fixup 开销。改动不改变有效的 K 取整范围与数值结果,MUL_MAT 和 MUL_MAT_ID 后端测试已在 RTX 5090 上通过。

来源:llama.cpp Releases · github.com