llama.cpp Releases· pwilkin·· 7 小时前精选AI 评分60
llama.cpp b12051 为 Vulkan 后端加入张量并行 all-reduce
b12051: vulkan: add tensor-parallel allreduce function (#25051)
AI 导读
llama.cpp 发布 b12051，为 Vulkan 后端加入张量并行 all-reduce 通信，并修复 3 卡以上环形 all-reduce 的竞态问题。
推荐理由
原文给出多 GPU 张量并行的实测吞吐变化，读者可据此判断本地部署的扩展效率。
来源：llama.cpp Releases · github.com