跳到正文
llama.cpp Releases· ServeurpersoCom·· 3 小时前AI 评分10

llama.cpp b12127:metal 后端将可融合节点组保留在同一命令缓冲区内(#31688)

b12127: metal: keep fusable node groups inside one command buffer (#31688)

AI 导读

llama.cpp 发布 b12127,Metal 后端调整命令缓冲区切分逻辑:边界若落在可融合节点组内部,会将该组整体移到组末尾,使各编码器融合的节点与单命令缓冲区时一致。此前首个命令缓冲区取图的前 10% 节点、其余均分,跨缓冲区的融合无法进行,导致输出依赖图的节点数量。

来源:llama.cpp Releases · github.com