arXiv cs.SE· Ethan Seefried, Romit Ghosh, Sharmin Afrose, Nicholas Stapleton, Vicente Layton Ortega, Travis Humble, Tirthankar Ghosal·· 2 小时前AI 评分32
LLM 量子代码生成评测审计:15 个模型在 5 套基准上的表现与评测器缺陷
Benchmarking the Quantum Leap: Auditing LLM Evaluation for Quantum Code Generation
AI 导读
研究在 5 套量子代码生成基准(530 个任务)上评测了 15 个托管前沿、开放权重、量子专用及检索增强模型,并在新基准 QuantumBenchEval(QBE,96 个任务)上评测了 10 个模型。
来源:arXiv cs.SE · arxiv.org