llama.cpp Releases· github-actions[bot]·· 2 小时前AI 评分32
llama.cpp b11785 发布:MoE down projection 改为按专家 token 缩放
b11785
AI 导读
llama.cpp 发布 b11785,将 MoE down projection 的全局 amax 缩放改为按专家 token 计算的因子,沿中间维度用 POOL_1D max 归约,输出端以相同 2 的幂因子还原。Meta split-state 逻辑新增 POOL_1D 处理,使 axis 0 切分变为各设备复制的部分结果,从而支持张量并行。
来源:llama.cpp Releases · github.com