跳到正文
llama.cpp Releases· github-actions[bot]·· 9 小时前AI 评分18

llama.cpp b12072 发布:移除 llm_attn_mask 中冗余的 cnv

b12072

AI 导读

llama.cpp 发布 b12072,从 llm_attn_mask 中移除冗余的 cnv。dspark block mask 改为在输入填充阶段生成,llm_attn_mask::block_uniform 用序列首个 token 的 mask 行填充该序列所有 token,dflash 中的图级 reshape/repeat 被删除,cnv 始终别名 raw。

来源:llama.cpp Releases · github.com