llama.cpp Releases· github-actions[bot]·· 5 小时前AI 评分12
llama.cpp b11690 发布:ngram 缓存改为按引用读取
b11690
AI 导读
llama.cpp 发布 b11690,将 ngram 缓存的读取方式从复制改为按引用读取(#30061),以减少数据拷贝开销。该版本继续提供 macOS、Linux、Windows、Android 及 openEuler 等多平台构建产物,覆盖 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等后端。
来源:llama.cpp Releases · github.com