跳到正文
llama.cpp Releases· github-actions[bot]·· 2 小时前AI 评分32

llama.cpp b11785 发布:MoE down projection 改为按专家 token 缩放

b11785

AI 导读

llama.cpp 发布 b11785,将 MoE down projection 的全局 amax 缩放改为按专家 token 计算的因子,沿中间维度用 POOL_1D max 归约,输出端以相同 2 的幂因子还原。Meta split-state 逻辑新增 POOL_1D 处理,使 axis 0 切分变为各设备复制的部分结果,从而支持张量并行。

来源:llama.cpp Releases · github.com