跳到正文
llama.cpp Releases· github-actions[bot]·· 2 小时前AI 评分22

llama.cpp b11530 修复后端采样图在 ubatch 间拓扑变化问题

b11530

AI 导读

llama.cpp 发布 b11530,修复后端采样图在多个 ubatch 间拓扑不一致的问题:此前 reserve 阶段按每个 sampler 构建 n_outputs_max_per_seq 条采样链,而 decode 阶段按每个输出行构建一条,导致图拓扑在 reserve 后发生变化,使 GGML_SCHED_NO_REALLOC 构建在下一个同尺寸图上中止。

来源:llama.cpp Releases · github.com