Hugging Face Daily Papers·· 4 天前精选AI 评分49
DEPTH：用顺序依赖深度衡量并合成终端任务基准
Is Your Long-Horizon Benchmark Really Deep? Measuring and Synthesizing Depth in Terminal Tasks
AI 导读
论文提出用顺序依赖深度而非轮数来衡量终端任务难度，并据此生成更难的基准。作者审计六个数据集的 734 个任务后发现，94% 的已解合成任务在三轮内即可通过，合成方法主要增加了操作量而非深度。
推荐理由
论文指出合成任务多只增加操作量而非顺序依赖深度，并给出按深度生成终端任务的方法。
来源：Hugging Face Daily Papers · huggingface.co