跳到正文
llama.cpp Releases· github-actions[bot]·· 6 小时前AI 评分20

llama.cpp b11866 移除 Metal 后端 mul_mm_id 的 amax 重缩放

b11866

AI 导读

llama.cpp 发布 b11866,移除 Metal 后端 kernel_mul_mm_id 中 src1 的二次幂重缩放,改由计算图中的 per expert-token amax 缩放保证 MoE 下投影激活在 f16 范围内。此次一并删除两级归约 kernel、其 scratch buffer、#26223 引入的 GGML_PREC_F32 分发及相关测试用例。

来源:llama.cpp Releases · github.com