arXiv cs.SE· Kazuki Egashira, Niels M\"undler-Sasahara, Mark Niklas M\"uller, Martin Vechev·· 5 小时前AI 评分57
TestSuiteBench：编码智能体难以从规格生成强测试套件
TestSuiteBench: Coding Agents Struggle to Generate Strong Test Suites from Specifications
AI 导读
研究者提出 TestSuiteBench，包含 165 个开源应用，每个应用配有结构化行为规格、参考实现、参考测试套件和平均 74 个变异体。结果显示，前沿编码智能体生成的测试套件变异得分低于 60%，尽管其测试大多有效、88% 能在参考实现上通过；而针对同一规格生成的实现能通过 82% 的参考测试。
来源：arXiv cs.SE · arxiv.org