llama.cpp b11821 重构 Intel XMX 多列矩阵内核
热点事件持续更新
llama.cpp b11821 重构 Intel XMX 多列矩阵内核
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
llama.cpp 发布 b11821，重构 SYCL 后端在 Intel XMX 矩阵引擎上的多列 mul_mat_vec_q 内核，支持 2 至 80 个激活列，面向投机解码验证与短提示词批处理；发布说明称 tg128 提速 5.9%。 该版本新增两个环境变量：GGML_SYCL_XMX_MAX_COLS 默认 80，可取 0 及以上任意值；GGML_SYCL_XMX_GLU_MAX_COLS 默认 16，范围 0 至 16，用于设定融合 gate/up 内核的最大批大小。后者被限制在 16，是因为融合内核最多按 16 编译，该变量只能调低、不能调高。
AI 根据报道生成 · 47 分钟前更新
最新进展10月22日 21:39
llama.cpp b11821 重构 Intel XMX 多列矩阵计算，tg128 提速 5.9%报道时间线
沿着报道，了解事件的不同侧面。
10月22日
- llama.cpp Releasesllama.cpp b11821 重构 Intel XMX 多列矩阵计算，tg128 提速 5.9%
llama.cpp b11821 重构了 SYCL 后端在 Intel XMX 矩阵引擎上的多列 mul_mat_vec_q，支持 2 至 80 个激活列，面向投机解码验证与短提示词批处理。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。