llama.cpp Metal 后端移除 mul_mm_id 的 amax 重缩放
热点事件持续更新
llama.cpp Metal 后端移除 mul_mm_id 的 amax 重缩放
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
llama.cpp 发布 b11866，移除 Metal 后端 kernel_mul_mm_id 中对 src1 的二次幂重缩放，改由计算图中的 per expert-token amax 缩放保证 MoE 下投影激活落在 f16 范围内。 此次一并删除两级归约 kernel、其 scratch buffer、#26223 引入的 GGML_PREC_F32 分发，以及驱动 MUL_MAT_ID src1 超出 f16 范围的测试用例。
AI 根据报道生成 · 31 分钟前更新
最新进展10月24日 23:40
llama.cpp b11866 移除 Metal 后端 mul_mm_id 的 amax 重缩放报道时间线
沿着报道，了解事件的不同侧面。
10月24日
- llama.cpp Releasesllama.cpp b11866 移除 Metal 后端 mul_mm_id 的 amax 重缩放
llama.cpp 发布 b11866，移除 Metal 后端 kernel_mul_mm_id 中 src1 的二次幂重缩放，改由计算图中的 per expert-token amax 缩放保证 MoE 下投影激活在 f16 范围内。此次一并删除两级归约 kernel、其 scratch buffer、#26223 引入的 GGML_PREC_F32 分发及相关测试用例。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。