llama.cpp Releases· github-actions[bot]·· 3 小时前AI 评分22
llama.cpp b11756 发布:Anthropic /v1/messages 转换支持 id_slot
b11756
AI 导读
llama.cpp b11756 让 server 的 Anthropic /v1/messages 转换透传 id_slot 参数,此前该字段被白名单遗漏,代理无法把会话固定到持有 KV cache 的槽位,在 hybrid/recurrent 模型上会触发完整重预填充。新增测试通过 GET /slots 验证带 id_slot 的请求由指定槽位处理。
来源:llama.cpp Releases · github.com