跳到正文
llama.cpp Releases· SelfRef·· 5 小时前AI 评分12

llama.cpp b11952:Vulkan coopmat1 int8 matmul 将 A 预取限制到 end_k

b11952: vulkan: clamp A prefetch to end_k in coopmat1 int8 matmul (#30283)

AI 导读

llama.cpp 发布 b11952,修复 Vulkan coopmat1 int8 matmul 中 A 预取未限制在 end_k 范围内的问题,做法与 B 预取一致。同时将超出 end_k 的 k 步 A scale 置零,不再依赖被截断的数据块。

来源:llama.cpp Releases · github.com