llama.cpp 在 CUDA MMQ 中融合 NVFP4 gate/up 与 GLU
热点事件持续更新
llama.cpp 在 CUDA MMQ 中融合 NVFP4 gate/up 与 GLU
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
llama.cpp 发布 b12122，在 CUDA 后端的 MMQ 路径中把 NVFP4 的 gate/up matmul 与 GLU 融合，并让融合后的 gate/up MMQ 按请求的 src1 精度执行。 该版本同时复用 NVFP4 scale 检查、跳过未使用的融合 FP4 kernel，并新增 W4A8 无 scale 及带 batch 的 NVFP4 融合 MMQ 测试。
AI 根据报道生成 · 2 小时前更新
最新进展11月5日 10:47
llama.cpp b12122：CUDA 后端在 MMQ 中融合 NVFP4 gate/up matmul 与 GLU报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- llama.cpp Releasesllama.cpp b12122：CUDA 后端在 MMQ 中融合 NVFP4 gate/up matmul 与 GLU
llama.cpp 发布 b12122，在 CUDA 的 MMQ 路径中融合 NVFP4 的 gate/up matmul 与 GLU，并让融合 gate/up MMQ 遵循请求的 src1 精度。该版本还复用 NVFP4 scale 检查、跳过未使用的融合 FP4 kernel，并新增 W4A8 无 scale 及带 batch 的 NVFP4 融合 MMQ 测试。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。