llama.cpp Releases· github-actions[bot]·· 10 小时前AI 评分42
llama.cpp 发布 b11985,优化 Metal 后端 MXFP4 矩阵向量与 GLU 内核
b11985
AI 导读
llama.cpp 发布 b11985,主要改动集中在 Metal 后端。MXFP4 矩阵向量内核改用 fp16 位技巧解码 fp4 值、以对齐的 32 位字加载打包 nibble,不再使用 threadgroup 内存;连续一元与行广播二元算子改为每 threadgroup 最多 256 线程并做尾部边界检查;GLU 每行拆到多个 threadgroup 上执行。
来源:llama.cpp Releases · github.com