llama.cpp 发布 b11752 修复 MoE 路由噪声
热点事件持续更新
llama.cpp 发布 b11752 修复 MoE 路由噪声
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
llama.cpp 发布 b11752 版本，修复 MoE 路由的 top-k 选择受后端噪声影响的问题。该版本给专家选择加入步长为 2 的偏置斜坡，使选择只取决于专家索引；偏置仅影响选择，权重仍来自无偏概率，MoE 输出幅度不变。 此前 Beam 架构在 M2 Ultra 上 20 个种子中有 2 个失败，logits 偏差达 4e-3；修复后 160 个种子全部与 CPU 参考结果误差在 4e-7 以内。
AI 根据报道生成 · 28 分钟前更新
最新进展10月20日 15:40
llama.cpp b11752 修复 MoE 路由选择受后端噪声影响的问题报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- llama.cpp Releasesllama.cpp b11752 修复 MoE 路由选择受后端噪声影响的问题
llama.cpp 发布 b11752，通过给专家选择加入步长为 2 的偏置斜坡，使 MoE 路由的 top-k 选择只取决于专家索引，不再受后端噪声干扰。此前 Beam 架构在 M2 Ultra 上 20 个种子中有 2 个失败，logits 偏差达 4e-3；修复后 160 个种子全部与 CPU 参考结果误差在 4e-7 以内。该偏置仅影响选择，权重仍来自无偏概率，MoE 输出幅度不变。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。