跳到正文
llama.cpp Releases· github-actions[bot]·· 3 小时前AI 评分22

llama.cpp b11554 发布:Vulkan 后端优化 mul_mat_id 重复处理

b11554

AI 导读

llama.cpp 发布 b11554,Vulkan 后端将 mul_mat_id 的重复处理从循环改为在 prepass 阶段完成,并让 "hoist row ids" 优化默认常开。新实现会生成紧凑的 tile 描述列表,必要时为重复 id 输出多个 tile,从而收紧 workgroup 数量上界,让尾部线程可提前退出。

来源:llama.cpp Releases · github.com