跳到正文
llama.cpp Releases· github-actions[bot]·· 7 小时前AI 评分22

llama.cpp b11936 发布:k-pool 稀疏选择不再依赖 kq_mask 形状

b11936

AI 导读

llama.cpp 发布 b11936,将 k-pool 稀疏选择改为按缓存单元构建 [n_kv, n_tokens] 选择,不再沿用稠密 kq_mask 的形状,并在注意力前拆分为 K 视图的流。

来源:llama.cpp Releases · github.com