llama.cpp Releases· github-actions[bot]·· 18 小时前AI 评分18
llama.cpp b11719 发布:ggml-cuda 优化 fattn 越界检查
b11719
AI 导读
llama.cpp 发布 b11719 版本,ggml-cuda 后端在 k_VKQ_max = (k_VKQ_max - nbatch_fa) 时不再执行越界(oob)检查。该版本继续提供 macOS、Linux、Windows、Android 及 openEuler 等多平台构建产物,覆盖 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等后端。
来源:llama.cpp Releases · github.com