llama.cpp Releases· github-actions[bot]·· 18 小时前AI 评分22
llama.cpp b12091 发布:speculative 支持保存与恢复 MTP 隐藏状态
b12091
AI 导读
llama.cpp b12091 为 speculative 解码加入 MTP 隐藏状态的保存与恢复,仅保存边界隐藏行,验证行在支持的恢复路径上重建。该版本同时移除 MTP 状态测试并简化 MTP checkpoint 状态。构建覆盖 macOS、Linux、Windows、Android 及 openEuler 多平台。
来源:llama.cpp Releases · github.com