Hugging Face Daily Papers·· 5 天前精选AI 评分49
HALO 发布主动型智能体人工标注评测基准
HALO: Human-Grounded Granular Evaluation of Proactive Agents
AI 导读
HALO 推出面向主动型智能体的人工标注基准与数据集,覆盖依赖、阻塞、风险、机会 4 类主动需求,横跨 10 个日常领域和 50 个个人环境。基于 400 个场景、10 个模型的 8000 条响应由 20 位专家标注动作等级、可接受性判定与人工诊断,表现最好的闭源与开源模型可接受率分别为 72.88% 和 56.63%。
推荐理由
该基准用 20 位专家标注 8000 条响应,指出过度主动是主动型智能体的主要失败模式,并给出可量化的失败占比。
来源:Hugging Face Daily Papers · huggingface.co