llama.cpp Releases· github-actions[bot]·· 3 小时前AI 评分22
llama.cpp b11962 发布:CUDA 后端在 MMQ 中融合 MoE 门控/上投影与 GLU
b11962
AI 导读
llama.cpp 发布 b11962,CUDA 后端在 MMQ 中融合 MoE(MUL_MAT_ID)的 gate/up 投影与 GLU 计算。该版本同步更新 macOS、Linux、Windows、Android 及 openEuler 等多平台预编译产物,覆盖 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等后端。
来源:llama.cpp Releases · github.com