llama.cpp Releases· github-actions[bot]·· 1 天前AI 评分34
llama.cpp b11716 为 Hexagon NPU 增加 Q1_0 与 Q2_0 量化支持
b11716
AI 导读
llama.cpp 发布 b11716,为 Hexagon NPU 后端新增 Q1_0 和 Q2_0 量化支持,并在 2D HMX MUL_MAT 路径中启用 Q1_0 权重。该版本还修复了 MUL_MAT_NX 对方形分块的假设,以适配 Q1/Q2 的非方形 tile,并优化了 Q1_0 布局以减少 unpack/vrmpy 开销。
来源:llama.cpp Releases · github.com