跳到正文
arXiv cs.SE· Mowafak Allaham, Aditya Vempaty, Ashish Jagmohan, Prasenjit Dey, Ravi Kokku·· 4 小时前AI 评分31

交互式澄清何时能提升 LLM 生成的 Lean 规格?Claude Sonnet 4.6 跨模型管线最高提升 6.3 个百分点

Eliciting Specifications: When Does Interactive Clarification Help?

AI 导读

研究在 189 个 Verina Lean 4 规格生成任务上检验澄清智能体(EA)能否通过向模拟开发者提问来改进 Lean 规格。同模型 Claude Sonnet 4.6 管线在 k=3 和 k=10 预算下严格 pass@1 均为负,而 Sonnet 4.6 到 GPT-5.6 的跨模型管线最高达 65.6%,提升 6.3 个百分点(+12 个任务)。

来源:arXiv cs.SE · arxiv.org