Hugging Face Daily Papers·· 5 天前精选AI 评分52
KV4-RL：用 INT4 KV Cache 量化加速 RLVR 异步 rollout
KV4-RL: Unlocking Faster Asynchronous Rollouts for RLVR with INT4 KV Cache Quantization
AI 导读
论文提出 KV4-RL，将免校准的 INT4 KV cache 量化与对 attention sinks 和近期上下文的 INT8 选择性保护结合，用于 RLVR 的异步 rollout。
推荐理由
论文给出 INT4 KV 量化在异步 RLVR 训练中的加速数据与精度代价，可据此判断量化落点。
来源：Hugging Face Daily Papers · huggingface.co