llama.cpp Releases· github-actions[bot]·· 14 小时前AI 评分22
llama.cpp b11507 支持 MoE 缓存跨多 GPU
b11507
AI 导读
llama.cpp 发布 b11507 版本,新增 MoE 缓存跨多 GPU 支持(#30112)。该版本继续提供 macOS、Linux、Windows、Android 及 openEuler 等多平台构建,覆盖 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等后端。
来源:llama.cpp Releases · github.com