llama.cpp Releases· github-actions[bot]·· 9 小时前AI 评分42
llama.cpp b11879 在 CUDA MMQ 中融合 FFN gate/up 矩阵乘与 GLU
b11879
AI 导读
llama.cpp 发布 b11879,在 CUDA 的 MMQ 路径中把稠密 FFN 的 gate 与 up 矩阵乘合并为一次 mul_mat_q 调用,并在写回时计算 GLU。
来源:llama.cpp Releases · github.com
b11879
llama.cpp 发布 b11879,在 CUDA 的 MMQ 路径中把稠密 FFN 的 gate 与 up 矩阵乘合并为一次 mul_mat_q 调用,并在写回时计算 GLU。
来源:llama.cpp Releases · github.com