llama.cpp Releases· github-actions[bot]·· 11 小时前AI 评分28
llama.cpp b11759 发布:ggml-zdnn 后端引入 flash attention
b11759
AI 导读
llama.cpp 发布 b11759,ggml-zdnn 后端新增 flash attention 算子并引入 scratch buffer pool,替代原有 scratch slots。该实现由 IBM 的 Aaron Teo 提交,文档同步补充了 fattn 说明。
来源:llama.cpp Releases · github.com