Hugging Face Daily Papers·· 1 天前精选AI 评分55
TraceForge 提出两阶段蒸馏方法，用学生模型自身风格生成推理轨迹
TraceForge: Distilling with Your Own Thinking
AI 导读
TraceForge 提出一种两阶段的有监督加对抗方法，以教师模型的答案和上下文为输入，按学生模型自身家族的风格生成推理轨迹，从而不依赖闭源模型隐藏的推理输出。
推荐理由
论文给出一种不依赖闭源模型隐藏推理轨迹的蒸馏路径，并在编码基准上给出可对照的提升幅度。
来源：Hugging Face Daily Papers · huggingface.co