跳到正文
llama.cpp Releases· github-actions[bot]·· 4 小时前AI 评分22

llama.cpp b11819 支持 Nemotron 非标准 GQA 与 BPE 分词器

b11819

AI 导读

llama.cpp 发布 b11819,为 Nemotron 模型新增非标准 GQA、BPE 分词器及 domyn-small pre-type 支持。该版本同时让 gguf-py 将 Metaspace prepend_scheme 写入 GGUF 元数据,并在分词器中解析该字段、用于 detokenize。

来源:llama.cpp Releases · github.com