llama.cpp 发布 v0.7.0，新增 MoE 专家 GPU 缓存
热点事件持续更新
llama.cpp 发布 v0.7.0，新增 MoE 专家 GPU 缓存
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
llama.cpp 发布 v0.7.0，新增 --moe-cache-mib 选项，可将主机内存中的 MoE 专家放入 GPU LRU 缓存；官方称专家卸载时解码速度最高提升约 2.2 倍，该缓存现可跨多 GPU 共享。 该版本还加入 LiliCorr 投机解码技术、面向 GLM5-Next 的 MTP，以及一批新模型支持；新增 --spec-draft-n-ubatch 用于单独设置草稿上下文批次以节省显存。 服务端默认监听端口由 8080 改为 9931，Docker 镜像在容器内仍保留 8080。
AI 根据报道生成 · 2 小时前更新
最新进展10月16日 01:15
llama.cpp v0.7.0 发布：新增 MoE 专家 GPU 缓存与 LiliCorr 投机解码报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- llama.cpp Releases精选llama.cpp v0.7.0 发布：新增 MoE 专家 GPU 缓存与 LiliCorr 投机解码
llama.cpp v0.7.0 发布，新增将主机内存中的 MoE 专家放入 GPU LRU 缓存的 --moe-cache-mib 选项，专家卸载时解码速度最高提升约 2.2 倍，该缓存现可跨多 GPU 共享。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。