arXiv cs.SE· Jiajun Wu, Leixin Sun, Zihan Tan, Yitao Liu, Zhenjun Zhao, Danyang Zhang, Shuo Li, Jiaru Qian, Yuxin Wu, Shanghaoran Quan, Chuangxin Zhao, Yangxu Liao, Yang Liu, Bin Chong, Guancheng Wan·· 3 小时前AI 评分31
SWE-PolyVision:面向仓库级软件工程的跨图像溯因推理基准
SWE-PolyVision: Benchmarking Cross-Image Abductive Reasoning for Repository-Level Software Engineering
AI 导读
SWE-PolyVision 是一个可执行基准,包含来自 36 个开源组织的 92 个真实任务(48 个公开、44 个私有),配有 402 张静态图像和 6 段视频,每个任务至少两个视觉输入。该基准在 Text-only、Native Vision 和 Tool-mediated Vision 三种访问模式下评测,覆盖 11 个编码模型,结果显示视觉访问会改变任务求解结果,但效果因模型和任务而异。
来源:arXiv cs.SE · arxiv.org