llama.cpp Releases· github-actions[bot]·· 1 天前AI 评分22
llama.cpp b11717 为 Hexagon NPU 新增 Hadamard 运算与 Q1_0/Q2_0 支持
b11717
AI 导读
llama.cpp b11717 为 Hexagon 后端新增 hadamard MUL_MAT 与 GET_ROWS 支持,覆盖 flat 和 tiled 两种布局的 Q1_0、Q2_0 量化格式。该版本还降低了 q8_1 量化器的 pkt 数量,并为 Q1/Q2 的 GET_ROWS 增加 flat 与 tiled 支持。
来源:llama.cpp Releases · github.com