跳到正文
llama.cpp Releases· am17an·· 5 小时前AI 评分12

llama.cpp b12059 发布:flash_attn_ext_rows 优化多序列统一 KV

b12059

AI 导读

llama.cpp 发布 b12059 版本,由 am17an 提交,新增 flash_attn_ext_rows 以提升多序列场景下统一 KV 的效率。该提交已在 GitHub 完成签名验证,随版本附带 2 个资源文件。

来源:llama.cpp Releases · github.com