llama.cpp OpenCL 后端新增 IQ2 量化支持
热点事件持续更新
llama.cpp OpenCL 后端新增 IQ2 量化支持
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
llama.cpp 发布 b11986，为 OpenCL 后端加入 IQ2 量化的初步支持，覆盖 iq2_s、iq2_xs、iq2_xxs 三种类型。 此次新增包括 AOS/SOA mv、tiled mm、面向 Adreno 的 noshuffle gemm/gemv 与 dp4a 实现，并针对 Adreno 上的 decode 与窄批次场景做了优化。
AI 根据报道生成 · 2 小时前更新
最新进展10月29日 16:12
llama.cpp b11986 为 OpenCL 后端加入 IQ2 量化初步支持报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- llama.cpp Releasesllama.cpp b11986 为 OpenCL 后端加入 IQ2 量化初步支持
llama.cpp 发布 b11986，为 OpenCL 后端加入 IQ2 量化的初步支持，覆盖 iq2_s、iq2_xs、iq2_xxs 三种类型。新增内容包括 AOS/SOA mv、tiled mm、面向 Adreno 的 noshuffle gemm/gemv 与 dp4a 实现，并优化了 Adreno 上的 decode 与窄批次场景。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。