PolyCodeEval多语言多粒度代码生成基准发布
热点事件持续更新
PolyCodeEval多语言多粒度代码生成基准发布
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
研究者 Bowen Yang 等人发布 PolyCodeEval，一个覆盖函数到仓库粒度的多语言代码生成基准，包含来自 5 种编程语言、58 个真实可执行开源仓库的 2,590 个任务，并采用统一执行协议评测。 评测显示，现有方法生成正确函数、文件、仓库的比例最高仅为 71.7%、76.7% 和 31.0%，且性能随语言差异明显。配对实验还表明，同文件相关函数的实现上下文能提升函数生成的可执行正确率。
AI 根据报道生成 · 1 小时前更新
最新进展10月9日 12:00
PolyCodeEval：从函数到仓库的多语言代码生成基准报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv cs.SEPolyCodeEval：从函数到仓库的多语言代码生成基准
研究者发布 PolyCodeEval，一个覆盖函数到仓库粒度的多语言代码生成基准，包含来自 5 种编程语言、58 个真实可执行开源仓库的 2,590 个任务，并采用统一执行协议评测。评测显示现有方法生成正确函数、文件、仓库的比例最高仅为 71.7%、76.7% 和 31.0%，且性能随语言差异明显。配对实验还表明，同文件相关函数的实现上下文能提升函数生成的可执行正确率。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。