Hugging Face Daily Papers·· 2 天前AI 评分36
TestPrism:重新思考超越单一参考实现的测试评估
TestPrism: Rethinking Test Evaluation Beyond a Single Reference
AI 导读
LLM 编码智能体生成的测试通常只对照单一参考解评估,会高估测试质量。TestPrism 包含来自 17 个来源的 300 个测试任务和 3000 个候选实现,其 Joint Success Function 指标要求测试在初始程序状态失败、接受所有有效实现并拒绝所有无效实现,14 种基线配置下仅达 28.00%,而单一参考成功率高达 59.67%。
来源:Hugging Face Daily Papers · huggingface.co