面向嵌入式软件开发的 LLM 智能体闭环评测基准

研究者提出一套面向嵌入式编码智能体的闭环评测基准，包含五个嵌入式控制任务和四种反馈场景（一次性生成、真实自验证、CI 式红绿反馈、oracle 式详细反馈），实现目标为可复现的模拟 ESP32 固件。团队评测了 GPT 系列与 Qwen 系列的七种配置，共 420 次运行，gpt-5.4 通过率最高但未饱和基准，qwen3.5-27B 是表现最强的本地模型，较小的本地模型通过率与搜索效率明显下降。