llama.cpp Releases· github-actions[bot]·· 20 小时前AI 评分32
llama.cpp b12086 优化 Qwen3.8-Flash-Next 卷积状态写入
b12086
AI 导读
llama.cpp b12086 修复了 build_conv_state_at 中多余的连续拷贝:此前每个 GDN 层每生成一个 token 会发起两次设备拷贝,在 36 层 GDN 的 Qwen3.8-Flash-Next 上每 token 共 72 次,现降至 36 次。
来源:llama.cpp Releases · github.com