量子代码生成LLM评测审计研究

Ethan Seefried 等作者发布了一项量子代码生成 LLM 评测审计研究：在 5 套量子代码生成基准（共 530 个任务）上评测了 15 个托管前沿、开放权重、量子专用及检索增强模型，并在其新建的 QuantumBenchEval（QBE，96 个任务、覆盖 6 个主题）上评测了 10 个模型。 研究同时审计了这些基准的评测器，指出评测器存在缺陷；报道未说明缺陷的具体类型及其对各模型成绩的影响。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。