跳到正文
llama.cpp Releases· github-actions[bot]·· 1 天前AI 评分34

llama.cpp b11716 为 Hexagon NPU 增加 Q1_0 与 Q2_0 量化支持

b11716

AI 导读

llama.cpp 发布 b11716,为 Hexagon NPU 后端新增 Q1_0 和 Q2_0 量化支持,并在 2D HMX MUL_MAT 路径中启用 Q1_0 权重。该版本还修复了 MUL_MAT_NX 对方形分块的假设,以适配 Q1/Q2 的非方形 tile,并优化了 Q1_0 布局以减少 unpack/vrmpy 开销。

来源:llama.cpp Releases · github.com