跳到正文
llama.cpp Releases· github-actions[bot]·· 8 小时前AI 评分25

llama.cpp b11906 将 concat 重写为全类型单行 kernel

b11906

AI 导读

llama.cpp 发布 b11906,将 ggml-cpu 的 concat 重写为覆盖所有类型的单行 kernel:稠密源行一次 memcpy,量化类型同样适用,跨步源按编译期已知元素大小逐元素拷贝。行改为跨线程切分而非仅按 i2,并以 32 为块拷贝,转置源按外层循环遍历使同块行读取相邻地址。test_concat 新增转置 b 用例及 delta-net conv 输入布局的性能用例。

来源:llama.cpp Releases · github.com