跳到正文
llama.cpp Releases· github-actions[bot]·· 16 小时前AI 评分40

llama.cpp b11632 发布:CUDA 与 HIP 加入 GDN 分块 kernel

b11632

AI 导读

llama.cpp 发布 b11632,为 CUDA 和 HIP 后端加入 GDN 分块 kernel,代码移植自 tetherto#257。该改动在 RTX 3090 和 RTX 4090 上完成正确性与 prefill 基准测试后,为 Ampere 的 SM86 和 Ada 的 SM89 启用 GDN MMA,其余未测试架构继续沿用原有回退路径。

来源:llama.cpp Releases · github.com