llama.cpp Releases· github-actions[bot]·· 3 小时前AI 评分12
llama.cpp b11633 修复 ggml-cpu 多线程 set_rows 缓冲区越界
b11633
AI 导读
llama.cpp 发布 b11633,修复 ggml-cpu 中 SET_ROWS 的 F16→F32 转换缓冲区越界问题:该算子按 n_tasks = 1 规划,但每个线程都会执行并占用各自的转换缓冲行,当图中存在其他多线程算子时,线程号大于 0 的线程会写出工作缓冲区之外。此次将 set_rows 改为按 n_task = n_threads 分组执行。
来源:llama.cpp Releases · github.com