llama.cpp Releases· anujj·· 3 小时前AI 评分20
llama.cpp b12122:CUDA 后端在 MMQ 中融合 NVFP4 gate/up matmul 与 GLU
b12122: Title: CUDA: fuse NVFP4 gate/up matmuls and GLU in MMQ (#31296)
AI 导读
llama.cpp 发布 b12122,在 CUDA 的 MMQ 路径中融合 NVFP4 的 gate/up matmul 与 GLU,并让融合 gate/up MMQ 遵循请求的 src1 精度。该版本还复用 NVFP4 scale 检查、跳过未使用的融合 FP4 kernel,并新增 W4A8 无 scale 及带 batch 的 NVFP4 融合 MMQ 测试。
来源:llama.cpp Releases · github.com