跳到正文
热点事件持续更新

llama.cpp 新增计算图重分配回调

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

llama.cpp 在 b11567 版本中新增可选回调 ggml_backend_sched_realloc_callback,用户代码可通过 ggml_backend_sched_set_realloc_callback 注册,在计算图预留的缓冲区不足、需要重新预留时收到通知。该回调为可选,不注册则不受影响。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. llama.cpp Releases
    llama.cpp b11567:推理时报告计算图重分配

    llama.cpp b11567 新增可选的 ggml_backend_sched_realloc_callback,用户可通过 ggml_backend_sched_set_realloc_callback 注册,在计算图预留缓冲区不足、需重新预留时收到通知。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。