llama.cpp 修复量化 KV 缓存状态拷贝尺寸
热点事件持续更新
llama.cpp 修复量化 KV 缓存状态拷贝尺寸
1 篇报道1 个报道来源33 分钟前更新
先了解这件事
AI 综述
llama.cpp 在 b12121 版本中修复了量化 KV cache 设备端序列状态拷贝的尺寸计算错误。原代码用 size / ggml_element_size() 计算元素数，对 q8_0、q4_0 等量化类型得到的是块数而非元素数，导致状态恢复错误或拷贝崩溃。 新版本改为 size / ggml_type_size() * ggml_blck_size()，并断言每个范围覆盖完整块。
AI 根据报道生成 · 28 分钟前更新
最新进展11月5日 10:31
llama.cpp b12121 修复量化 KV cache 的设备端状态拷贝尺寸报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- llama.cpp Releasesllama.cpp b12121 修复量化 KV cache 的设备端状态拷贝尺寸
llama.cpp b12121 修复了量化 KV cache 的设备端序列状态拷贝尺寸计算错误。原代码用 size / ggml_element_size() 计算元素数，对 q8_0、q4_0 等量化类型得到的是块数而非元素数，导致状态恢复错误或拷贝崩溃。新版本改为 size / ggml_type_size() * ggml_blck_size()，并断言每个范围覆盖完整块。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。