跳到正文
llama.cpp Releases· ggerganov·· 9 小时前AI 评分38

llama.cpp b11599 修复后端缓冲区映射并开启 macOS 预取

b11599: llama : do not map foreign ranges into a backend buffer (#30405)

AI 导读

llama.cpp 发布 b11599,修复了从宿主指针创建的缓冲区会把其他上下文拥有的文件范围一并 pin 住的问题,改为按各上下文的文件范围分别创建缓冲区,避免把整个 lazy tensor 钉进 GPU 缓冲区(Qwen3.8-Flash-Next IQ4_NL 下为 27 GiB)。

来源:llama.cpp Releases · github.com