跳到正文
llama.cpp Releases· Tough-Respawn·· 21 小时前AI 评分22

llama.cpp b11506:server 在 slot 保存/恢复时保留上下文检查点

b11506: server : preserve context checkpoints across slot save/restore (#26004)

AI 导读

llama.cpp 发布 b11506,server 在 slot 保存/恢复时保留上下文检查点,恢复后的 slot 可直接回滚到检查点,无需重新处理整个 prompt。

来源:llama.cpp Releases · github.com