跳到正文
llama.cpp Releases· github-actions[bot]·· 6 小时前AI 评分42

llama.cpp 服务端新增 --models-memory-max 参数,支持按内存阈值动态卸载模型

b11930

AI 导读

llama.cpp 发布 b11930 版本,服务端新增 --models-memory-max 参数,当模型超出内存大小阈值时可动态卸载模型,阈值估算包含待加载模型的大小。改动还引入按设备分别计算的内存余量、服务端内存调试日志,并修复了测量子进程内存统计和排队加载在内存余量受限时反复重试的问题。

来源:llama.cpp Releases · github.com