Hugging Face Daily Papers·· 3 天前精选AI 评分50
WISD：用弱化模型对比实现大推理模型在线自蒸馏
Weaken to Strengthen: Weakening-Induced On-Policy Self-Distillation for Large Reasoning Models
AI 导读
论文提出 Weakening-Induced On-Policy Self-Distillation（WISD），通过低比特量化或幅度剪枝构造原模型的弱化版本，用两者对比作为训练信号，无需特权数据。
推荐理由
论文提出用弱化版模型做自蒸馏，在数学与代码推理基准上给出可对照的量化与剪枝增益数据。
来源：Hugging Face Daily Papers · huggingface.co