llama.cpp Releases· github-actions[bot]·· 3 小时前精选AI 评分55
llama.cpp b11980 为 SYCL 后端加入量化 KV cache 的 DPAS flash attention 内核
b11980
AI 导读
llama.cpp 发布 b11980,在 SYCL 后端新增 DPAS flash attention 内核,使 1 到 31 个 query token 的解码和小批量请求可直接在 q4_0 与 q8_0 KV 块上运行 flash attention,无需标量反量化或每次调用把整个 cache 转成 f16。
推荐理由
llama.cpp 在 SYCL 后端为量化 KV cache 加入 DPAS flash attention,并给出 16K 上下文下的吞吐对比数据。
来源:llama.cpp Releases · github.com