跳到正文
llama.cpp Releases· github-actions[bot]·· 3 小时前精选AI 评分55

llama.cpp b11980 为 SYCL 后端加入量化 KV cache 的 DPAS flash attention 内核

b11980

AI 导读

llama.cpp 发布 b11980,在 SYCL 后端新增 DPAS flash attention 内核,使 1 到 31 个 query token 的解码和小批量请求可直接在 q4_0 与 q8_0 KV 块上运行 flash attention,无需标量反量化或每次调用把整个 cache 转成 f16。

推荐理由

llama.cpp 在 SYCL 后端为量化 KV cache 加入 DPAS flash attention,并给出 16K 上下文下的吞吐对比数据。

来源:llama.cpp Releases · github.com