llama.cpp 为 Adreno 新增分块 q4_K GEMM
热点事件持续更新
llama.cpp 为 Adreno 新增分块 q4_K GEMM
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
llama.cpp 构建 b11971 在 OpenCL 后端为 Adreno GPU 新增了 tiled q4_k GEMM,并在 batch > 1 时用 tiled GEMM 运行 tiled q4_K lm_head。 该版本还把 tiled dp4a q4_k GEMM 拆分为独立文件,并加入 dp4a 检测。llama.cpp 称这部分由 Codex 辅助完成。
AI 根据报道生成 · 29 分钟前更新
最新进展10月29日 05:55
llama.cpp b11971 为 Adreno GPU 新增 tiled q4_k GEMM报道时间线
沿着报道,了解事件的不同侧面。
10月29日
- llama.cpp Releasesllama.cpp b11971 为 Adreno GPU 新增 tiled q4_k GEMM
llama.cpp 构建 b11971 在 OpenCL 后端为 Adreno GPU 新增 tiled q4_k GEMM,并在 batch > 1 时用 tiled GEMM 运行 tiled q4_K lm_head。该版本还把 tiled dp4a q4_k GEMM 拆分为独立文件并加入 dp4a 检测,由 Codex 辅助完成。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。