llama.cpp Releases· petersid2022·· 11 小时前AI 评分17
llama.cpp b11758 发布:spec 保存动态 ngram 缓存文件
b11758: spec : save the dynamic ngram cache file (#22055)
AI 导读
llama.cpp 发布 b11758,spec 模块现在会在 common_speculative_impl_ngram_cache 析构时保存动态 ngram 缓存文件,并移除 save_static/save_dynamic 标志及相关 TODO。
来源:llama.cpp Releases · github.com