跳到正文
热点事件持续更新

llama.cpp 修复 Metal 融合节点分组

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

llama.cpp 发布 b12127,调整 Metal 后端的命令缓冲区切分逻辑:如果切分边界落在可融合节点组内部,就把整个组移到组末尾,使各编码器融合的节点与使用单个命令缓冲区时一致。 此前首个命令缓冲区取计算图前 10% 的节点,其余节点均分到后续缓冲区;当可融合节点组被缓冲区边界切开时,跨缓冲区的融合无法进行,导致输出依赖图的节点数量。

AI 根据报道生成 · 26 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. llama.cpp Releases
    llama.cpp b12127:metal 后端将可融合节点组保留在同一命令缓冲区内(#31688)

    llama.cpp 发布 b12127,Metal 后端调整命令缓冲区切分逻辑:边界若落在可融合节点组内部,会将该组整体移到组末尾,使各编码器融合的节点与单命令缓冲区时一致。此前首个命令缓冲区取图的前 10% 节点、其余均分,跨缓冲区的融合无法进行,导致输出依赖图的节点数量。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。