llama.cpp Releases· github-actions[bot]·· 4 小时前AI 评分22
llama.cpp b11819 支持 Nemotron 非标准 GQA 与 BPE 分词器
b11819
AI 导读
llama.cpp 发布 b11819,为 Nemotron 模型新增非标准 GQA、BPE 分词器及 domyn-small pre-type 支持。该版本同时让 gguf-py 将 Metaspace prepend_scheme 写入 GGUF 元数据,并在分词器中解析该字段、用于 detokenize。
来源:llama.cpp Releases · github.com