arXiv cs.SE· Jiajun Wu, Jian Yang, Yaxin Du, Shukai Liu, Linzheng Chai, Tuney Zheng, Wei Zhang, Haitao Yang, Yan Bai, Yihang Lou, Xianglong Liu, Bryan Dai·· 2 小时前AI 评分47
ProductWebBench：在真实前端仓库上评测网站连续性
ProductWebBench: Evaluating Website Continuity Beyond Task Completion
AI 导读
论文提出 ProductWebBench，在真实前端仓库上同时评测任务完成与网站连续性，包含 320 个 Change 任务和 80 个长程 Build 任务。13 个模型共 8,737 次运行中，通过全部请求工作检查的 Change 运行里有 28.2% 仍触发连续性检查失败，10.8% 把已通过的浏览器状态改回失败。在静态 DOM 已通过的运行中，交互环节仍有 29.5% 失败。
来源：arXiv cs.SE · arxiv.org