跳到正文
llama.cpp Releases· github-actions[bot]·· 18 小时前AI 评分22

llama.cpp b12091 发布:speculative 支持保存与恢复 MTP 隐藏状态

b12091

AI 导读

llama.cpp b12091 为 speculative 解码加入 MTP 隐藏状态的保存与恢复,仅保存边界隐藏行,验证行在支持的恢复路径上重建。该版本同时移除 MTP 状态测试并简化 MTP checkpoint 状态。构建覆盖 macOS、Linux、Windows、Android 及 openEuler 多平台。

来源:llama.cpp Releases · github.com