llama.cpp b11930 新增模型内存阈值卸载
热点事件持续更新
llama.cpp b11930 新增模型内存阈值卸载
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
llama.cpp 发布 b11930 版本，服务端新增 --models-memory-max 参数：当模型超出设定的内存大小阈值时，可动态卸载模型，阈值估算包含待加载模型的大小。 该版本还引入按设备分别计算的内存余量和服务端内存调试日志，并修复了测量子进程内存统计、排队加载在内存余量受限时反复重试的问题。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 19:14
llama.cpp 服务端新增 --models-memory-max 参数，支持按内存阈值动态卸载模型报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- llama.cpp Releasesllama.cpp 服务端新增 --models-memory-max 参数，支持按内存阈值动态卸载模型
llama.cpp 发布 b11930 版本，服务端新增 --models-memory-max 参数，当模型超出内存大小阈值时可动态卸载模型，阈值估算包含待加载模型的大小。改动还引入按设备分别计算的内存余量、服务端内存调试日志，并修复了测量子进程内存统计和排队加载在内存余量受限时反复重试的问题。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。