跳到正文
llama.cpp Releases· ggerganov·· 15 小时前AI 评分22

llama.cpp b12002 为 ggml 新增批量张量拷贝 API

b12002: ggml : add batched tensor copy API (#30881)

AI 导读

llama.cpp 发布 b12002,在 ggml 中新增通用批量张量拷贝 API,并让 llama 的 context io 改用该接口。该版本同时为批量张量 API 加入 CUDA 支持,移除异步 tensor_n API 并新增 null buffer 钩子,还修复了批量张量 2D 检测问题。

来源:llama.cpp Releases · github.com