跳到正文
llama.cpp Releases· github-actions[bot]·· 1 天前AI 评分30

llama.cpp b12080 发布:CUDA 后端将批量张量读取聚合到映射主机内存

b12080

AI 导读

llama.cpp 发布 b12080,CUDA 后端新增将批量张量读取聚合到映射主机内存的优化,小读取走 gather 拷贝、大读取改用 pinned DMA,并加入 8 字节 gather 拷贝与 128k 描述符 pinned 缓冲。该改动来自 PR #31391,已合入 master。

来源:llama.cpp Releases · github.com