arXiv cs.SE· Yijun Zhou, Minghao Shao, Ke Zhang, Renkai Yuan, Hongbo Yuan, Bin Hu, Bozhao Qian, Hongxia Shen, Yanhong Liu, Yuting Chen, Yuntao Shi, Zhongxuan Xu, Shuo Mao, Haijia Zhou, Zhendong Li, Tao Zhang, Chenggang Li, Yuxuan Wang, Zinan Zheng, Calvin Zhang, Jia Li, Heng Chang, Jie Feng·· 3 小时前AI 评分49
UnityBench-Mini3D：评估 LLM 智能体在 Unity 3D 游戏开发中的能力
UnityBench-Mini3D: Evaluating LLM Agents for 3D Game Development in Unity
AI 导读
研究者提出 UnityBench-Mini3D，包含 77 个 Unity 项目级任务，按七类专家定义的技能划分并设三个难度层级，用 1178 条人工编写的里程碑测试在引擎内评估场景结构、组件配置和运行时行为。在 21 个模型和 9 套编码工具上，简单任务平均通过率为 80.9%，困难任务降至 35.2%，整体仅 57.7%。该基准不依赖主观评审，可给出确定性的部分得分并定位失败位置。
来源：arXiv cs.SE · arxiv.org