跳到正文
llama.cpp Releases· github-actions[bot]·· 2 小时前精选AI 评分62

llama.cpp v0.7.0 发布:新增 MoE 专家 GPU 缓存与 LiliCorr 投机解码

v0.7.0

AI 导读

llama.cpp v0.7.0 发布,新增将主机内存中的 MoE 专家放入 GPU LRU 缓存的 --moe-cache-mib 选项,专家卸载时解码速度最高提升约 2.2 倍,该缓存现可跨多 GPU 共享。

推荐理由

llama.cpp v0.7.0 的 MoE 专家缓存与投机解码改动,直接影响本地部署的显存占用和解码速度。

来源:llama.cpp Releases · github.com