跳到正文
llama.cpp Releases· petersid2022·· 11 小时前AI 评分17

llama.cpp b11758 发布:spec 保存动态 ngram 缓存文件

b11758: spec : save the dynamic ngram cache file (#22055)

AI 导读

llama.cpp 发布 b11758,spec 模块现在会在 common_speculative_impl_ngram_cache 析构时保存动态 ngram 缓存文件,并移除 save_static/save_dynamic 标志及相关 TODO。

来源:llama.cpp Releases · github.com