跳到正文
llama.cpp Releases· github-actions[bot]·· 13 小时前AI 评分20

llama.cpp b12101 发布:gguf writer 直接写入 host-buffer 张量数据

b12101

AI 导读

llama.cpp 发布 b12101,ggml 的 gguf writer 对 host-buffer 张量跳过临时 vector 暂存,直接把可写数据指针写入文件,省去每个张量的分配、零初始化和 memcpy。

来源:llama.cpp Releases · github.com