跳到正文
llama.cpp Releases· github-actions[bot]·· 3 小时前AI 评分22

llama.cpp b11552 修复 server 占用中 slot 被请求固定时的缓存污染问题

b11552

AI 导读

llama.cpp 发布 b11552,修复 server 中请求指定已被占用的 id_slot 时仍会先对该 slot 执行 prompt cache 更新的问题。此前若 RAM cache 命中更好匹配,会在该 slot 仍在生成时被加载,导致生成继续在错误上下文上进行;现在占用中的 slot 会原样返回,请求改为等待该 slot。

来源:llama.cpp Releases · github.com