跳到正文
llama.cpp Releases· github-actions[bot]·· 9 小时前AI 评分12

llama.cpp b11592 发布:CUDA 图调试日志改用 GGML_CUDA_GRAPH_DEBUG 控制

b11592

AI 导读

llama.cpp 发布 b11592,为 ggml-cuda 新增 GGML_CUDA_GRAPH_DEBUG 环境变量,CUDA graph 调试日志需显式开启,并移除 NDEBUG 限制。同时环境变量改为通过 ggml_cuda_env_flag/ggml_cuda_env_int 静态缓存、仅读取一次,不再每次调用重复查询。

来源:llama.cpp Releases · github.com