llama.cpp Releases· github-actions[bot]·· 2 小时前AI 评分18
llama.cpp b11752 修复 MoE 路由选择受后端噪声影响的问题
b11752
AI 导读
llama.cpp 发布 b11752,通过给专家选择加入步长为 2 的偏置斜坡,使 MoE 路由的 top-k 选择只取决于专家索引,不再受后端噪声干扰。此前 Beam 架构在 M2 Ultra 上 20 个种子中有 2 个失败,logits 偏差达 4e-3;修复后 160 个种子全部与 CPU 参考结果误差在 4e-7 以内。该偏置仅影响选择,权重仍来自无偏概率,MoE 输出幅度不变。
来源:llama.cpp Releases · github.com