Hugging Face Daily Papers·· 4 天前精选AI 评分48
OPST:无需人工问答数据的大模型自我训练方法
On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models
AI 导读
研究提出 On-Policy Self-Training(OPST),把 on-policy 自蒸馏重构为自我训练框架,模型仅凭粗粒度主题描述自行生成问答对和特权推理演示,无需人工编写的提示词或答案。
推荐理由
论文提出无需人工标注问答的自我训练框架,并给出伪验证过滤与多模态扩展的设计思路。
来源:Hugging Face Daily Papers · huggingface.co