跳到正文
Hugging Face Daily Papers·· 2 天前精选AI 评分55

对抗式投机推理提升长程智能体准确率

Adversarial Speculative Reasoning Improves Long Horizon Agents

AI 导读

论文提出对抗式投机推理,通过训练草稿模型在关键推理 token 上主动被拒绝,让这些 token 由目标模型在最不易受数值噪声影响的条件下重新采样。作者发现投机解码的草稿接受结果会在 30 步后改变模型输出分布,从而随机影响长程智能体的推理准确率;在复杂智能体编码基准上,该方法在不改动目标模型及其输出分布的前提下提升了端到端成功率,仅需训练托管参数的 0.06% 至 0.28%。

推荐理由

论文把投机解码从纯加速手段变成控制上下文精度的分配器,为长程智能体的推理稳定性提供了新思路。

来源:Hugging Face Daily Papers · huggingface.co