llama.cpp Releases· github-actions[bot]·· 5 小时前AI 评分22
llama.cpp b11680 发布:Hexagon 张量重打包重构,支持分块与扁平量化及 FP 权重
b11680
AI 导读
llama.cpp 发布 b11680,重构 Hexagon 张量重打包并支持分块与扁平的量化及 FP 权重。新增对分块 Q5_K 和原始 k-quant 张量的 GET_ROWS 支持,并支持重打包/分块 F16/F32/BF16 二维权重。此次改动移除了 need_repack hack,K-Quants 的 GET_ROWS 测试暂时中断,将在下一轮修复。
来源:llama.cpp Releases · github.com