llama.cpp Releases· github-actions[bot]·· 5 小时前AI 评分20
llama.cpp b11822 修复 qwen4exp 层输入以支持 DFlash 草稿模型
b11822
AI 导读
llama.cpp b11822 修复了 qwen4exp 目标模型与 DFlash 草稿模型配合时的层输入不匹配问题。qwen4exp 将 hc-wide 残差以 [n_embd, hc, n_tokens] 形式发布,而 DFlash 编码器按 [n_embd, n_tokens] 读取,导致首个请求在 extract_layer_inputs 中中止。
来源:llama.cpp Releases · github.com