跳到正文
llama.cpp Releases· anujj·· 3 小时前AI 评分20

llama.cpp b12122:CUDA 后端在 MMQ 中融合 NVFP4 gate/up matmul 与 GLU

b12122: Title: CUDA: fuse NVFP4 gate/up matmuls and GLU in MMQ (#31296)

AI 导读

llama.cpp 发布 b12122,在 CUDA 的 MMQ 路径中融合 NVFP4 的 gate/up matmul 与 GLU,并让融合 gate/up MMQ 遵循请求的 src1 精度。该版本还复用 NVFP4 scale 检查、跳过未使用的融合 FP4 kernel,并新增 W4A8 无 scale 及带 batch 的 NVFP4 融合 MMQ 测试。

来源:llama.cpp Releases · github.com