跳到正文
arXiv cs.SE· Jinyun Chen, Juntao Hu, Haochen Li, Wentao Song, Ningbo Gu, Jianwei Niu, Qing Gao, Rui Wang·· 2 小时前AI 评分34

CycleBench:LLM 生成 PLC 程序的逐扫描执行评测

Compilation Is Not Correctness: Scan-by-Scan Evaluation of LLM-Generated PLC Programs

AI 导读

研究团队提出 CycleBench,一个包含 301 个 ST 任务的基准,在每次扫描后对比生成程序与参考程序的输出。在八个 LLM 上,执行通过率比编译通过率低 11.92 个百分点;仅每五次扫描检查一次输出,会漏掉逐扫描对比所检出 157 个失败中的 21.66%。基于此提出的 CycleGen 通过多候选生成、编译器反馈修复与运行时自测选择,将执行通过率较直接生成提升 8.68 个百分点。

来源:arXiv cs.SE · arxiv.org