arXiv cs.SE· Ying Xiao, Xinjian Wu, Lukas Twist, Yaoqi Guo, Yepang Liu, Zhenpeng Chen, Jie M. Zhang·· 2 小时前AI 评分31
面向 LLM 与 AI 智能体的诚实性测试：软件工程愿景
Honesty Testing of LLMs and AI Agents: A Vision for Software Engineering
AI 导读
一篇愿景论文提出将 LLM 与 AI 智能体的诚实性测试作为软件工程新研究领域，把忠实报告变成开发者可指定、可测试、可维护的软件质量要求。论文将诚实性 bug 定义为模型在被要求忠实沟通时给出的明确声明与自身当时判断相冲突的行为缺陷，并提出覆盖受控输入下 LLM 级测试与完整系统智能体级测试的初步框架。研究还指出基准、模型与 harness 分析、oracle 构建及生命周期测试等方向。
来源：arXiv cs.SE · arxiv.org