跳到正文
llama.cpp Releases· github-actions[bot]·· 8 小时前AI 评分22

llama.cpp b12007 发布:KV cache 旋转常量常驻 GPU

b12007

AI 导读

llama.cpp 发布 b12007,将 KV cache 的旋转常量保留在 GPU 上,并新增常驻 KV 旋转缓冲区测试。该版本支持按层分配旋转缓冲区,修复混合 SWA 旋转输入与混合放置检查,mistral-large4 模型改用按层旋转。

来源:llama.cpp Releases · github.com