跳到正文
llama.cpp Releases· github-actions[bot]·· 18 小时前AI 评分18

llama.cpp b11719 发布:ggml-cuda 优化 fattn 越界检查

b11719

AI 导读

llama.cpp 发布 b11719 版本,ggml-cuda 后端在 k_VKQ_max = (k_VKQ_max - nbatch_fa) 时不再执行越界(oob)检查。该版本继续提供 macOS、Linux、Windows、Android 及 openEuler 等多平台构建产物,覆盖 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等后端。

来源:llama.cpp Releases · github.com