llama.cpp Releases· github-actions[bot]·· 3 小时前AI 评分22
llama.cpp b11552 修复 server 占用中 slot 被请求固定时的缓存污染问题
b11552
AI 导读
llama.cpp 发布 b11552,修复 server 中请求指定已被占用的 id_slot 时仍会先对该 slot 执行 prompt cache 更新的问题。此前若 RAM cache 命中更好匹配,会在该 slot 仍在生成时被加载,导致生成继续在错误上下文上进行;现在占用中的 slot 会原样返回,请求改为等待该 slot。
来源:llama.cpp Releases · github.com