llama.cpp Releases· danbev·· 4 小时前AI 评分22
llama.cpp b12126:qwen2 的 build_ffn 补上 NVFP4 scales
b12126: qwen2 : add nvfp4 scales to build_ffn (#31657)
AI 导读
llama.cpp b12126 为 qwen2 的 build_ffn 调用补上此前传 NULL 的 NVFP4 scales,修复转换为 NVFP4 的模型在 FFN 中加载了 scales 却未应用而崩溃的问题。此前 attention 已应用 scales,FFN 缺失,导致 llama-completion 触发 llama_sampler_dist_apply 断言失败。
来源:llama.cpp Releases · github.com