llama.cpp b11530 修复采样图拓扑变化
热点事件持续更新
llama.cpp b11530 修复采样图拓扑变化
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
llama.cpp 发布 b11530,修复后端采样图在多个 ubatch 之间拓扑不一致的问题。此前 reserve 阶段按每个 sampler 构建 n_outputs_max_per_seq 条采样链,decode 阶段则按每个输出行构建一条,导致图拓扑在 reserve 后发生变化。 这一变化使 GGML_SCHED_NO_REALLOC 构建在下一个同尺寸图上中止。新版本让采样图在 ubatch 间保持静态。
AI 根据报道生成 · 58 分钟前更新
最新进展10月10日 00:05
llama.cpp b11530 修复后端采样图在 ubatch 间拓扑变化问题报道时间线
沿着报道,了解事件的不同侧面。
10月10日
- llama.cpp Releasesllama.cpp b11530 修复后端采样图在 ubatch 间拓扑变化问题
llama.cpp 发布 b11530,修复后端采样图在多个 ubatch 间拓扑不一致的问题:此前 reserve 阶段按每个 sampler 构建 n_outputs_max_per_seq 条采样链,而 decode 阶段按每个输出行构建一条,导致图拓扑在 reserve 后发生变化,使 GGML_SCHED_NO_REALLOC 构建在下一个同尺寸图上中止。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。