跳到正文
llama.cpp Releases· github-actions[bot]·· 4 小时前AI 评分40

llama.cpp b11790 为 Hexagon NPU 加入 NEON 向量化重排与多线程

b11790

AI 导读

llama.cpp 发布 b11790,为 Hexagon 后端加入 NEON 向量化的 repack(tiling)与简单的分块多线程。改动把向量化 q4_0 repack 扩展到更多类型,并将 q1、q2、f16 等其余类型也做了 NEON 向量化。

来源:llama.cpp Releases · github.com