llama.cpp Releases· github-actions[bot]·· 8 小时前AI 评分22
llama.cpp b11647 发布:Vulkan 后端在 AMD 上优化 f16 KV 拷贝
b11647
AI 导读
llama.cpp 发布 b11647,Vulkan 后端在 AMD 上对 strided f16 KV 只做一次拷贝,使读取分散到各内存通道。该改动复用通用 copy shader 完成 f16 KV scratch 填充,并将 strided KV scratch 拷贝扩展到 bf16,同时在 RDNA4 上禁用。相关测试覆盖了 f16 KV 到 scratch 的拷贝。
来源:llama.cpp Releases · github.com