llama.cpp Releases· github-actions[bot]·· 8 小时前AI 评分25
llama.cpp b11906 将 concat 重写为全类型单行 kernel
b11906
AI 导读
llama.cpp 发布 b11906,将 ggml-cpu 的 concat 重写为覆盖所有类型的单行 kernel:稠密源行一次 memcpy,量化类型同样适用,跨步源按编译期已知元素大小逐元素拷贝。行改为跨线程切分而非仅按 i2,并以 32 为块拷贝,转置源按外层循环遍历使同块行读取相邻地址。test_concat 新增转置 b 用例及 delta-net conv 输入布局的性能用例。
来源:llama.cpp Releases · github.com