跳到正文
llama.cpp Releases· github-actions[bot]·· 5 小时前AI 评分38

llama.cpp b11953 为 384 专家 MoE 加入 CUDA top-k 融合

b11953

AI 导读

llama.cpp 发布 b11953 版本,在 CUDA 后端为 384 专家的 MoE 模型新增 top-k 融合(#31288)。该版本同时提供 macOS、Linux、Windows、Android 及 openEuler 等多平台预编译包,覆盖 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等后端。

来源:llama.cpp Releases · github.com