llama.cpp b11636 为 SYCL 后端重排 IQ3 权重
热点事件持续更新
llama.cpp b11636 为 SYCL 后端重排 IQ3 权重
1 篇报道1 个报道来源13 小时前更新
先了解这件事
AI 综述
llama.cpp 发布 b11636,为 SYCL 后端的 IQ3_S 和 IQ3_XXS 量化加入持久化权重重排:权重在加载时重排一次,重排后的 MMVQ 点积改用 dp4a 与 SWAR 符号扩展遍历稠密 super-block,不再从交错的标准布局中逐位收集,重排感知的反量化也用于批量 prefill GEMM。 该版本称标准量化不受影响:Qwen3.5-9B 的 Q4_K_M / Q3_K_M 变化在噪声范围内,最大差异 -0.5 个百分点,tg 持平。MMVQ GLU 融合加宽与 rms_norm+scale 融合不在本次改动内,master 已通过 #28931 包含。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 00:41
llama.cpp b11636 为 SYCL 后端加入 IQ3 权重重排报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- llama.cpp Releases精选llama.cpp b11636 为 SYCL 后端加入 IQ3 权重重排
llama.cpp 发布 b11636,为 SYCL 后端的 IQ3_S 和 IQ3_XXS 加入持久化权重重排,权重在加载时重排一次,MMVQ 点积改用 dp4a 与 SWAR 符号扩展遍历稠密 super-block,重排感知的反量化也用于批量 prefill GEMM。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。