TestPrism：重新思考超越单一参考实现的测试评估
LLM 编码智能体生成的测试通常只对照单一参考解评估，会高估测试质量。TestPrism 包含来自 17 个来源的 300 个测试任务和 3000 个候选实现，其 Joint Success Function 指标要求测试在初始程序状态失败、接受所有有效实现并拒绝所有无效实现，14 种基线配置下仅达 28.00%，而单一参考成功率高达 59.67%。
#论文/研究
Hugging Face Daily PapersAI 评分3636 arXiv cs.SEAI 评分4444 ParanoiaEval：首个评测编程智能体不必要防御行为的基准
ParanoiaEval 是首个统一评测编程智能体风险处理能力的基准，基于软件工程风险管理的 Avoidance-Transfer-Mitigation-Acceptance 框架，包含 200 个证据受控的仓库级任务对。在 8 个代表性模型上的实验显示，即便有明确证据，仍有 11.2%-58.7% 的运行出现不必要的风险处理，且更强的任务能力并不保证更恰当的风险处理。
arXiv cs.SEAI 评分3131 SourceTracker：面向 LLM 生成代码片段的高效可扩展溯源追踪
研究者提出 300M 参数的代码检索编码器 SourceTracker 及两阶段溯源流水线 HybridSourceTracker（HST），先用向量搜索缩小候选范围，再用 Winnowing 精确指纹重排序。
arXiv cs.SEAI 评分4444 VISTA：面向视觉规格到 Web 应用编码智能体的端到端基准
VISTA 是面向编码智能体的端到端基准，可将多页设计稿（Figma 渲染、结构与文本需求）转化为可运行的全栈 Web 和 Android 应用。
arXiv cs.SEAI 评分2323 PropGen：用 LLM 自动生成属性，为移动应用属性测试提效
PropGen 利用 LLM 从 GUI 状态推断应用功能假设，执行验证后合成属性并根据测试反馈修正不精确属性，实现移动应用属性测试的自动化。在 12 款真实 Android 应用上，它推断出 1,210 个有效功能并正确执行 977 个，生成 985 条属性（912 条有效），修正了 127 条不精确属性中的 118 条，发现 25 个此前未知的功能性 bug。
arXiv cs.SEAI 评分3939 PackMonitor：通过解码时监控实现零包幻觉
PackMonitor 通过持续监控 LLM 解码过程并在生成安装命令时介入，将包幻觉率降至零。该方法包含 Context-Aware Parser、Package-Name Intervenor 和 DFA-Caching 机制，可扩展至数百万个包且开销可忽略。在五种主流 LLM 上的实验表明，PackMonitor 无需训练、即插即用，在保持低延迟推理和原有模型能力的同时消除包幻觉。
arXiv cs.SEAI 评分2222 SAIL：面向 UI 测试复用技能自适应模仿学习框架
针对 UI 测试迁移中 LLM 高精度事件映射仍无法弥合源应用与目标应用实现差异的问题，研究者提出技能自适应模仿学习框架 SAIL。SAIL 以源测试用例为示范，对测试用例底层技能做多级抽象构建知识库，并通过上下文与历史感知的技能自适应选择性复用技能来指导目标应用测试生成。评估显示其成功率比 SOTA 方法高 149%。
arXiv cs.SEAI 评分4343 SWE-Journey：面向长周期多轮交互的编程助手更真实评测基准
研究者推出 SWE-Journey 基准，用于更真实地评测 Claude Code、Codex 等编程助手。该基准通过弱到强合成流程自动构建长周期编程任务，并从真实交互数据中挖掘四类用户画像、构建用户模拟智能体来复现多轮交互。结果显示，面对软件架构师角色模型平均通过超 75% 的功能测试，而面对非程序员角色时通过率不足 25%。
arXiv cs.SEAI 评分3131 SoK：LLM 在源代码恢复中可靠吗？分类体系与实证评估
首个聚焦 LLM 辅助二进制到源代码恢复的 SoK 研究发布，提出以设计为中心的分类体系，并在 45,000 个测试样本上系统评估现有方法。样本覆盖四种标准架构与五种嵌入式架构、五种优化级别及符号剥离，从六个评估维度、七项关键指标展开。研究还消融了输入表示、上下文增强、模型规模、迭代与审查角色等设计选择的影响，并测试了四种成熟语言与两种遗留语言的同语言及跨语言恢复能力。
arXiv cs.SEAI 评分3232 可见推理并非通用优化器：分析代码生成中的人设与思考依赖效应
一项基于 SQL-pandas 匹配查询基准的研究发现，可见 CoT 并不带来普遍准确率优势，让推理表示匹配目标语言（如"用 SQL 思考"）也无一致收益。效果取决于人设、目标语言、模型配置与内部推理设置，控制消融实验进一步区分了推理内容与提示词格式的影响。研究认为推理策略应针对模型、人设、目标和内部推理配置联合选择，而非作为通用默认。
arXiv cs.SEAI 评分3333 WorldBench：评估 LLM 生成 Three.js 体素世界的能力
针对 LLM 生成 Three.js 体素世界缺乏可靠自动评分的问题，研究者提出 WorldBench 基准与评判器，它同时探索运行中的世界并读取代码，且不单独信任任一通道。
arXiv cs.SEAI 评分3838 TestPrism：重新思考超越单一参考实现的测试评估
针对 LLM 编码智能体测试评估仅依赖单一参考解的问题，研究者推出 TestPrism，包含来自 17 个来源的 300 个测试任务和 3000 个候选实现，有效与无效解各占一半。
arXiv cs.SEAI 评分5252 Cadence：为编码智能体提供动态监控与策略指导
论文提出 Cadence，一个根据编码智能体实时执行状态自适应安排检查并给出指导的动态监控框架，包含两级干预模块和检查调度器。
arXiv cs.SEAI 评分3232 研究：LLM 生成的无代码修复能否真正解决 bug？基于浏览器执行的自动化验证
一项研究提出基于执行的自动化流水线，在真实浏览器环境中评估 LLM 生成无代码修复的能力，测试了 12 种配置生成的 322 个修复。结果显示，不同执行器下仅 14.6% 至 49.7% 的修复解决了 bug，最强配置 Claude Opus 4.6 在 Claude Sonnet 5 执行下最高解决 74.1%。
arXiv cs.SEAI 评分2626 新基准评估真实程序中的精确输出与检查点状态预测
研究者提出一个仅凭源码和输入预测程序最终输出与检查点状态的基准，包含来自 371 个 Python 和 C++ 程序的 400 个案例，在四个模型系列的七种设置下评估。
arXiv cs.SEAI 评分5454 研究：LLM 生成的回归测试可能固化代码缺陷
一项研究将 LLM 生成的回归测试应用于 SciPy、Qiskit 和 pandas 的 145 个已合并 PR，发现 8%-17% 的生成测试属于固化缺陷的 fault-enforcing 测试，而只有 2.4%-4.8% 能揭示缺陷。
arXiv cs.SEAI 评分2222 ObliVul：面向代码漏洞检测的告警条件化安全义务建模与双向反事实验证
ObliVul 是一个面向代码漏洞检测的告警条件化安全义务建模与双向反事实验证框架，针对静态分析产生的大量候选告警难以甄别的问题。
arXiv cs.SEAI 评分3636 PolyCodeEval：从函数到仓库的多语言代码生成基准
研究者发布 PolyCodeEval，一个覆盖函数到仓库粒度的多语言代码生成基准，包含来自 5 种编程语言、58 个真实可执行开源仓库的 2,590 个任务，并采用统一执行协议评测。评测显示现有方法生成正确函数、文件、仓库的比例最高仅为 71.7%、76.7% 和 31.0%，且性能随语言差异明显。配对实验还表明，同文件相关函数的实现上下文能提升函数生成的可执行正确率。
arXiv cs.SEAI 评分3737 RucTangle：让编程智能体的提交拆分保持可运行
论文提出 RucTangle，首个在拆分编程智能体生成的大型混合补丁时保证每次提交后代码仍可运行的智能体方法，并配套 TangleEval 评估框架量化拆分后的提交历史对智能体修 bug 的帮助。
arXiv cs.SEAI 评分5555 Chronos 让代码智能体推理软件演进历史
Chronos 是一个测试时框架，将已合并的 pull request 蒸馏为结构化经验卡片，并通过代码层、开发者意图和组织关系的类型化图连接起来，供基于 LLM 的代码智能体使用。
arXiv cs.SEAI 评分3838 面向嵌入式软件开发的 LLM 智能体闭环评测基准
研究者提出一套面向嵌入式编码智能体的闭环评测基准，包含五个嵌入式控制任务和四种反馈场景（一次性生成、真实自验证、CI 式红绿反馈、oracle 式详细反馈），实现目标为可复现的模拟 ESP32 固件。团队评测了 GPT 系列与 Qwen 系列的七种配置，共 420 次运行，gpt-5.4 通过率最高但未饱和基准，qwen3.5-27B 是表现最强的本地模型，较小的本地模型通过率与搜索效率明显下降。
arXiv cs.SEAI 评分3131 LLM 代码生成中的过度自信失败问题研究
研究针对基于 LLM 的代码生成中"错误程序却表现出与正确程序相当的 token 级置信度"这一过度自信困境，在四个开源代码模型和三个基于执行的基准上展开分析。结果显示，现有不确定性信号仅提供部分且依赖模型的执行失败证据，过度自信在程序级和 token 级均持续存在，基于不确定性的选择无法稳定提升接受集准确率。指令微调会提高失败生成的确定性却不改善正确性判别，常见缓解手段也无法可靠解决该失败模式。
arXiv cs.SEAI 评分3131 谁承担评审成本？AI 生成 Pull Request 的分诊、公平与问责
一项覆盖 31 个国家 239 名代码评审者的问卷调查研究了 AI 生成 Pull Request（AIPR）如何被评审者治理。受访者表示 AI 署名并非一刀切的拒绝信号，评审投入取决于该贡献是否具备可问责性：范围有界、有项目依据的说明、CI 之外的验证、贡献者响应性以及可识别的合并后归属。
arXiv cs.SEAI 评分2626 IRONPROOF：基于 SMT 等价性检查的 COBOL 到 Python 转译
IRONPROOF 将 COBOL 解析为中间表示并生成 Python，再用 Z3 编码为共享输入上的公式，输出可机器校验的等价性证书（UNSAT）或反例（SAT）。
arXiv cs.SEAI 评分2222 跨供应商审查作为编码智能体的运行时契约：一项受控试点与故障注入研究
研究提出一种跨供应商审查契约，要求编码智能体使用独立资源池、受限审查能力与逐次尝试的持久证据。在20轮配对开发试点中，8轮出现实质性审查发现（95%精确区间19.1-63.9%）；边界扫描复现了部分输入下的假成功，并修复了进程回收期间的取消问题。CLI探测显示Claude无写入工具，Codex在5次只读试验中均尝试写入但均失败，未改动任何仓库。