llama.cpp 将 MoE 缓存从 LRU 换成 50/50 SLRU
热点事件持续更新
llama.cpp 将 MoE 缓存从 LRU 换成 50/50 SLRU
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
llama.cpp 在提交 b11736(#30637)中把 MoE 推理的缓存淘汰策略从 LRU 改为 50/50 SLRU 缓存,该提交已在 GitHub 通过签名验证。 改动只涉及 MoE 缓存的淘汰方式,提交说明未给出性能数据或适用条件。
AI 根据报道生成 · 45 分钟前更新
最新进展10月19日 19:28
llama.cpp b11736 提交:MoE 缓存改用 50/50 SLRU 替换 LRU报道时间线
沿着报道,了解事件的不同侧面。
10月19日
- llama.cpp Releasesllama.cpp b11736 提交:MoE 缓存改用 50/50 SLRU 替换 LRU
llama.cpp 提交 b11736 将 MoE 的 LRU 缓存替换为 50/50 SLRU 缓存(#30637)。该改动针对 MoE 推理中的缓存淘汰策略,提交已在 GitHub 上通过签名验证。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。