llama.cpp 修复 server 繁忙槽位被覆盖问题
热点事件持续更新
llama.cpp 修复 server 繁忙槽位被覆盖问题
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
llama.cpp 发布 b11552，修复 server 中请求指定已被占用的 id_slot 时仍会先对该槽位执行 prompt cache 更新的问题。此前若 RAM cache 命中更好匹配，缓存会在该槽位仍在生成时被加载，导致生成继续在错误上下文上进行。 新版本中，占用中的槽位会原样返回，请求改为等待该槽位。
AI 根据报道生成 · 1 小时前更新
最新进展10月11日 03:25
llama.cpp b11552 修复 server 占用中 slot 被请求固定时的缓存污染问题报道时间线
沿着报道，了解事件的不同侧面。
10月11日
- llama.cpp Releasesllama.cpp b11552 修复 server 占用中 slot 被请求固定时的缓存污染问题
llama.cpp 发布 b11552，修复 server 中请求指定已被占用的 id_slot 时仍会先对该 slot 执行 prompt cache 更新的问题。此前若 RAM cache 命中更好匹配，会在该 slot 仍在生成时被加载，导致生成继续在错误上下文上进行；现在占用中的 slot 会原样返回，请求改为等待该 slot。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。