llama.cpp Releases· github-actions[bot]·· 8 小时前AI 评分20
llama.cpp b11856 新增投机拒绝采样测试
b11856
AI 导读
llama.cpp 发布 b11856,在 tests 中新增投机拒绝采样测试,验证投机草稿模型产出的 token 与目标模型分布一致,拒绝采样后仍保持与直接采样目标模型相同的概率分布。测试会生成一个目标模型和一个草稿模型,可用 ctest 配合 --n_trials 5000 运行,后续运行可通过 fixture exclude 选项避免重建模型。
来源:llama.cpp Releases · github.com