跳到正文
Hugging Face Daily Papers·· 5 天前精选AI 评分49

HALO 发布主动型智能体人工标注评测基准

HALO: Human-Grounded Granular Evaluation of Proactive Agents

AI 导读

HALO 推出面向主动型智能体的人工标注基准与数据集,覆盖依赖、阻塞、风险、机会 4 类主动需求,横跨 10 个日常领域和 50 个个人环境。基于 400 个场景、10 个模型的 8000 条响应由 20 位专家标注动作等级、可接受性判定与人工诊断,表现最好的闭源与开源模型可接受率分别为 72.88% 和 56.63%。

推荐理由

该基准用 20 位专家标注 8000 条响应,指出过度主动是主动型智能体的主要失败模式,并给出可量化的失败占比。

来源:Hugging Face Daily Papers · huggingface.co