跳到正文
llama.cpp Releases· github-actions[bot]·· 1 天前AI 评分22

llama.cpp b11717 为 Hexagon NPU 新增 Hadamard 运算与 Q1_0/Q2_0 支持

b11717

AI 导读

llama.cpp b11717 为 Hexagon 后端新增 hadamard MUL_MAT 与 GET_ROWS 支持,覆盖 flat 和 tiled 两种布局的 Q1_0、Q2_0 量化格式。该版本还降低了 q8_1 量化器的 pkt 数量,并为 Q1/Q2 的 GET_ROWS 增加 flat 与 tiled 支持。

来源:llama.cpp Releases · github.com