跳到正文
llama.cpp Releases· github-actions[bot]·· 49 分钟前AI 评分22

llama.cpp b12121 修复量化 KV cache 的设备端状态拷贝尺寸计算

b12121

AI 导读

llama.cpp b12121 修复了量化 KV cache 在设备端状态拷贝时的尺寸计算错误:原先把元素数按 size / ggml_element_size() 计算,对 q8_0、q4_0 等量化类型得到的是块数而非元素数,导致状态恢复错误甚至拷贝崩溃。新版本改为 size / ggml_type_size() * ggml_blck_size(),并断言每个范围覆盖完整块。

来源:llama.cpp Releases · github.com