Hugging Face Daily Papers·· 9 天前精选AI 评分47
LongZero:无需外部数据提升 LLM 长上下文推理能力
LongZero: Enhancing Long-Context Reasoning in LLMs from Zero Data
AI 导读
LongZero 提出一种让大语言模型在无外部数据条件下自我提升长上下文推理的方法:模型先以紧凑结构化形式合成问题、答案及支撑证据,再把证据扩展为长多文档上下文,并与自写的多轮检索任务结合,用 GRPO 训练。作者在两个 LLM 和五个长上下文推理基准上评测,结果显示 LongZero 能泛化到真实任务,且优于外部语料合成数据 RL 等基线。
推荐理由
论文提出不依赖外部语料的长上下文自举训练方法,并给出与外部语料合成数据 RL 的对比结果。
来源:Hugging Face Daily Papers · huggingface.co