llama.cpp SYCL 后端新增量化 KV cache DPAS flash attention 内核
热点事件持续更新
llama.cpp SYCL 后端新增量化 KV cache DPAS flash attention 内核
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
llama.cpp 发布 b11980，在 SYCL 后端新增 DPAS flash attention 内核，使 1 到 31 个 query token 的解码和小批量请求可直接在 q4_0 与 q8_0 KV 块上运行 flash attention，无需标量反量化，也无需每次调用把整个 cache 转成 f16。 该内核仅覆盖解码和小批量场景，prompt 处理仍沿用原有内核；设置 GGML_SYCL_FA_DPAS=0 可关闭该内核。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- llama.cpp Releases精选llama.cpp b11980 为 SYCL 后端加入量化 KV cache 的 DPAS flash attention 内核
llama.cpp 发布 b11980，在 SYCL 后端新增 DPAS flash attention 内核，使 1 到 31 个 query token 的解码和小批量请求可直接在 q4_0 与 q8_0 KV 块上运行 flash attention，无需标量反量化或每次调用把整个 cache 转成 f16。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。