llama.cpp Releases· Tough-Respawn·· 21 小时前AI 评分22
llama.cpp b11506:server 在 slot 保存/恢复时保留上下文检查点
b11506: server : preserve context checkpoints across slot save/restore (#26004)
AI 导读
llama.cpp 发布 b11506,server 在 slot 保存/恢复时保留上下文检查点,恢复后的 slot 可直接回滚到检查点,无需重新处理整个 prompt。
来源:llama.cpp Releases · github.com