arXiv cs.SE· Mowafak Allaham, Aditya Vempaty, Ashish Jagmohan, Prasenjit Dey, Ravi Kokku·· 4 小时前AI 评分31
交互式澄清何时能提升 LLM 生成的 Lean 规格?Claude Sonnet 4.6 跨模型管线最高提升 6.3 个百分点
Eliciting Specifications: When Does Interactive Clarification Help?
AI 导读
研究在 189 个 Verina Lean 4 规格生成任务上检验澄清智能体(EA)能否通过向模拟开发者提问来改进 Lean 规格。同模型 Claude Sonnet 4.6 管线在 k=3 和 k=10 预算下严格 pass@1 均为负,而 Sonnet 4.6 到 GPT-5.6 的跨模型管线最高达 65.6%,提升 6.3 个百分点(+12 个任务)。
来源:arXiv cs.SE · arxiv.org