llama.cpp Releases· IMbackK·· 15 小时前AI 评分18
llama.cpp b11989:HIP/CUDA 在 CDNA 上启用稀疏注意力
b11989: HIP/CUDA: enable sparse attn on CDNA (#31259)
AI 导读
llama.cpp 发布 b11989 提交,在 HIP/CUDA 后端为 CDNA 架构启用稀疏注意力(sparse attn)。该提交同时针对旧版 ROCm 用 __ballot 替代 __ballot_sync,并忽略新的大 head fattn mma 变体。
来源:llama.cpp Releases · github.com