跳到正文
热点事件持续更新

llama.cpp b11985 优化 Metal 后端 MXFP4

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

llama.cpp 发布 b11985,改动集中在 Metal 后端。MXFP4 矩阵向量内核改用 fp16 位技巧解码 fp4 值,并以对齐的 32 位字加载打包 nibble,不再使用 threadgroup 内存。 连续一元与行广播二元算子改为每 threadgroup 最多 256 线程,并加入尾部边界检查;GLU 每行拆到多个 threadgroup 上执行。

AI 根据报道生成 · 35 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月29日
  1. llama.cpp Releases
    llama.cpp 发布 b11985,优化 Metal 后端 MXFP4 矩阵向量与 GLU 内核

    llama.cpp 发布 b11985,主要改动集中在 Metal 后端。MXFP4 矩阵向量内核改用 fp16 位技巧解码 fp4 值、以对齐的 32 位字加载打包 nibble,不再使用 threadgroup 内存;连续一元与行广播二元算子改为每 threadgroup 最多 256 线程并做尾部边界检查;GLU 每行拆到多个 threadgroup 上执行。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。