llama.cpp Releases· github-actions[bot]·· 1 天前精选AI 评分60
llama.cpp b12079 为多节点张量并行加入 NCCL 支持
b12079
AI 导读
llama.cpp 发布 b12079，为多节点张量并行加入 NCCL 支持。改动新增跨进程 rank 的集合通信后端接口，在 CUDA 后端用 NCCL 实现。
推荐理由
llama.cpp 通过 NCCL 把张量并行扩展到多节点，读者可以据此判断本地推理的分布式部署边界。
来源：llama.cpp Releases · github.com