嵌入式编码Agent闭环评测基准发布

研究者 Jorge García-Carrasco 等人发布一套面向嵌入式编码智能体的闭环评测基准，包含五个嵌入式控制任务和四种反馈场景（一次性生成、真实自验证、CI 式红绿反馈、oracle 式详细反馈），运行在可复现的模拟 ESP32 固件上。 团队用该基准评测 GPT 系列与 Qwen 系列共七种配置、420 次运行。结果显示 gpt-5.4 通过率最高，但未使基准饱和；qwen3.5-27B 是表现最强的本地模型，较小的本地模型通过率与搜索效率明显下降。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。