llama.cpp Releases· github-actions[bot]·· 2 小时前AI 评分22
llama.cpp b12008 修复 gemma3n/gemma4 重复 token_embd 内存占用
b12008
AI 导读
llama.cpp b12008 调整 gemma3n 与 gemma4 的加载顺序,在绑定输出前先创建 token_embd,避免输入输出共享 buffer 类型时重复持有词表。在 CPU-only(-ngl 0)、无 mmap 的 gemma-4-E2B-it Q4_K_M 上,模型 buffer 从 3163.73 MiB 降至 2947.73 MiB。
来源:llama.cpp Releases · github.com