跳到正文
热点事件持续更新

llama.cpp 将 MoE 缓存从 LRU 换成 50/50 SLRU

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

llama.cpp 在提交 b11736(#30637)中把 MoE 推理的缓存淘汰策略从 LRU 改为 50/50 SLRU 缓存,该提交已在 GitHub 通过签名验证。 改动只涉及 MoE 缓存的淘汰方式,提交说明未给出性能数据或适用条件。

AI 根据报道生成 · 45 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. llama.cpp Releases
    llama.cpp b11736 提交:MoE 缓存改用 50/50 SLRU 替换 LRU

    llama.cpp 提交 b11736 将 MoE 的 LRU 缓存替换为 50/50 SLRU 缓存(#30637)。该改动针对 MoE 推理中的缓存淘汰策略,提交已在 GitHub 上通过签名验证。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。