arXiv cs.SE· Junjie Chen·· 2 小时前AI 评分58
研究：LLM 智能体基准的 oracle 缺陷与配置依赖测量
When Agent Evaluation Becomes Unreliable: An Empirical Study of Oracle Failures and Configuration-Dependent Measurement in an LLM Agent Benchmark
AI 导读
arXiv 论文对 LLM 智能体评测框架做 oracle 完整性审计，用五条状态完整性不变量和三项已知答案控制，在两个任务域和合成域注入七类 oracle 缺陷，57 个可分离变体目标组合中检出 54 个，修复后的 oracle 无假阳性。
来源：arXiv cs.SE · arxiv.org