跳到正文
只看智能编码#编码
今天10月9日周五27 条
  1. Hugging Face Daily Papers36

    TestPrism：重新思考超越单一参考实现的测试评估

    LLM 编码智能体生成的测试通常只对照单一参考解评估，会高估测试质量。TestPrism 包含来自 17 个来源的 300 个测试任务和 3000 个候选实现，其 Joint Success Function 指标要求测试在初始程序状态失败、接受所有有效实现并拒绝所有无效实现，14 种基线配置下仅达 28.00%，而单一参考成功率高达 59.67%。

  2. arXiv cs.SE44

    ParanoiaEval：首个评测编程智能体不必要防御行为的基准

    ParanoiaEval 是首个统一评测编程智能体风险处理能力的基准，基于软件工程风险管理的 Avoidance-Transfer-Mitigation-Acceptance 框架，包含 200 个证据受控的仓库级任务对。在 8 个代表性模型上的实验显示，即便有明确证据，仍有 11.2%-58.7% 的运行出现不必要的风险处理，且更强的任务能力并不保证更恰当的风险处理。

  5. arXiv cs.SE23

    PropGen：用 LLM 自动生成属性，为移动应用属性测试提效

    PropGen 利用 LLM 从 GUI 状态推断应用功能假设，执行验证后合成属性并根据测试反馈修正不精确属性，实现移动应用属性测试的自动化。在 12 款真实 Android 应用上，它推断出 1,210 个有效功能并正确执行 977 个，生成 985 条属性（912 条有效），修正了 127 条不精确属性中的 118 条，发现 25 个此前未知的功能性 bug。

  6. arXiv cs.SE39

    PackMonitor：通过解码时监控实现零包幻觉

    PackMonitor 通过持续监控 LLM 解码过程并在生成安装命令时介入，将包幻觉率降至零。该方法包含 Context-Aware Parser、Package-Name Intervenor 和 DFA-Caching 机制，可扩展至数百万个包且开销可忽略。在五种主流 LLM 上的实验表明，PackMonitor 无需训练、即插即用，在保持低延迟推理和原有模型能力的同时消除包幻觉。

  7. arXiv cs.SE22

    SAIL：面向 UI 测试复用技能自适应模仿学习框架

    针对 UI 测试迁移中 LLM 高精度事件映射仍无法弥合源应用与目标应用实现差异的问题，研究者提出技能自适应模仿学习框架 SAIL。SAIL 以源测试用例为示范，对测试用例底层技能做多级抽象构建知识库，并通过上下文与历史感知的技能自适应选择性复用技能来指导目标应用测试生成。评估显示其成功率比 SOTA 方法高 149%。

  8. arXiv cs.SE43

    SWE-Journey：面向长周期多轮交互的编程助手更真实评测基准

    研究者推出 SWE-Journey 基准，用于更真实地评测 Claude Code、Codex 等编程助手。该基准通过弱到强合成流程自动构建长周期编程任务，并从真实交互数据中挖掘四类用户画像、构建用户模拟智能体来复现多轮交互。结果显示，面对软件架构师角色模型平均通过超 75% 的功能测试，而面对非程序员角色时通过率不足 25%。

  9. arXiv cs.SE32

    可见推理并非通用优化器：分析代码生成中的人设与思考依赖效应

    一项基于 SQL-pandas 匹配查询基准的研究发现，可见 CoT 并不带来普遍准确率优势，让推理表示匹配目标语言（如"用 SQL 思考"）也无一致收益。效果取决于人设、目标语言、模型配置与内部推理设置，控制消融实验进一步区分了推理内容与提示词格式的影响。研究认为推理策略应针对模型、人设、目标和内部推理配置联合选择，而非作为通用默认。

  13. arXiv cs.SE32

    研究：LLM 生成的无代码修复能否真正解决 bug？基于浏览器执行的自动化验证

    一项研究提出基于执行的自动化流水线，在真实浏览器环境中评估 LLM 生成无代码修复的能力，测试了 12 种配置生成的 322 个修复。结果显示，不同执行器下仅 14.6% 至 49.7% 的修复解决了 bug，最强配置 Claude Opus 4.6 在 Claude Sonnet 5 执行下最高解决 74.1%。

  16. arXiv cs.SE36

    PolyCodeEval：从函数到仓库的多语言代码生成基准

    研究者发布 PolyCodeEval，一个覆盖函数到仓库粒度的多语言代码生成基准，包含来自 5 种编程语言、58 个真实可执行开源仓库的 2,590 个任务，并采用统一执行协议评测。评测显示现有方法生成正确函数、文件、仓库的比例最高仅为 71.7%、76.7% 和 31.0%，且性能随语言差异明显。配对实验还表明，同文件相关函数的实现上下文能提升函数生成的可执行正确率。

  19. arXiv cs.SE38

    面向嵌入式软件开发的 LLM 智能体闭环评测基准

    研究者提出一套面向嵌入式编码智能体的闭环评测基准，包含五个嵌入式控制任务和四种反馈场景（一次性生成、真实自验证、CI 式红绿反馈、oracle 式详细反馈），实现目标为可复现的模拟 ESP32 固件。团队评测了 GPT 系列与 Qwen 系列的七种配置，共 420 次运行，gpt-5.4 通过率最高但未饱和基准，qwen3.5-27B 是表现最强的本地模型，较小的本地模型通过率与搜索效率明显下降。

  20. arXiv cs.SE31

    LLM 代码生成中的过度自信失败问题研究

    研究针对基于 LLM 的代码生成中"错误程序却表现出与正确程序相当的 token 级置信度"这一过度自信困境，在四个开源代码模型和三个基于执行的基准上展开分析。结果显示，现有不确定性信号仅提供部分且依赖模型的执行失败证据，过度自信在程序级和 token 级均持续存在，基于不确定性的选择无法稳定提升接受集准确率。指令微调会提高失败生成的确定性却不改善正确性判别，常见缓解手段也无法可靠解决该失败模式。

  21. arXiv cs.SE31

    谁承担评审成本？AI 生成 Pull Request 的分诊、公平与问责

    一项覆盖 31 个国家 239 名代码评审者的问卷调查研究了 AI 生成 Pull Request（AIPR）如何被评审者治理。受访者表示 AI 署名并非一刀切的拒绝信号，评审投入取决于该贡献是否具备可问责性：范围有界、有项目依据的说明、CI 之外的验证、贡献者响应性以及可识别的合并后归属。

  23. arXiv cs.SE22

    跨供应商审查作为编码智能体的运行时契约：一项受控试点与故障注入研究

    研究提出一种跨供应商审查契约，要求编码智能体使用独立资源池、受限审查能力与逐次尝试的持久证据。在20轮配对开发试点中，8轮出现实质性审查发现（95%精确区间19.1-63.9%）；边界扫描复现了部分输入下的假成功，并修复了进程回收期间的取消问题。CLI探测显示Claude无写入工具，Codex在5次只读试验中均尝试写入但均失败，未改动任何仓库。

10月8日周四
  4. GitHub Copilot Changelog60

    Claude Haiku 5.5 在 GitHub Copilot 正式可用

    Anthropic 最新的轻量模型 Claude Haiku 5.5 已在 GitHub Copilot 正式可用，面向 subagents、快速编辑和终端任务等高频场景。

    推荐理由：读者可以了解 Claude Haiku 5.5 在 GitHub Copilot 中的可用范围与计费方式，以及它在编码任务上的初步表现。

10月7日周三
10月3日周六
  1. GitHub Copilot Changelog36

    GitHub Copilot 代码审查支持 API，默认审查强度改为 Balanced

    GitHub Copilot 代码审查现已支持通过 REST 和 GraphQL API 发起请求，并可为每次请求单独设置审查强度。默认审查强度已改为 Balanced，于 2026 年 9 月 28 日生效，此前显式选择 Lite 的设置保持不变。该功能已面向 Copilot Pro、Pro+、Max、Business 和 Enterprise 计划全面开放。

10月2日周五
10月1日周四
9月23日周三
9月16日周三
9月14日周一
  1. Sourcegraph Blog66

    Sourcegraph 推出 Agentic Batch Changes，跨仓库代码变更由智能体编排

    Sourcegraph 发布 Agentic Batch Changes，基于 Batch Changes 与 Deep Search 构建，用户用自然语言描述变更后，智能体在索引代码库中划定范围、制定计划、先在单个仓库试改再逐步铺开，仓库差异时自动适配，CI 失败时继续处理，直到 PR 可供人工审查合并。

    推荐理由：Sourcegraph 把批量代码变更交给智能体编排，并给出按合并结果计费的方式，可观察大规模迁移的落地路径。