llama.cpp Releases· github-actions[bot]·· 3 小时前AI 评分22
llama.cpp b11597 发布:池化嵌入跳过 LM head
b11597
AI 导读
llama.cpp b11597 中,提取池化嵌入的上下文不再展开 LM head,此前每个 token 仍会计算 n_vocab 个 logits 并保留对应 host buffer。改动后模型只声明 t_logits,由新增的 build_logits() 在 build_sampling() 之前构建,池化上下文同时跳过采样层。
来源:llama.cpp Releases · github.com