Kolab：面向长周期工作流人机协作的评测基准

研究团队发布 Kolab 数据集，包含来自 40 种职业的 50 位专业人士与 AI 智能体协作的 115 小时以上屏幕录制，以及参与者对协作与产出质量的判断。该基准要求智能体预测专家会采纳、修改还是拒绝其贡献，并评估协作质量；结果显示前沿模型无论是否具备智能体能力都高估协作质量，且难以区分高质量与低质量协作，更长的流程上下文也未稳定改善预测。