跳到正文
arXiv cs.SE· Idunnuoluwa A. Adeniji, Shilpika, Michael E. Papka·· 2 小时前AI 评分34

追踪记录与标签不一致:审计 Agent 评测中的行为检测器

What the Trace Shows and What the Label Says: Auditing Behavioral Detectors in Agent Evaluation

AI 导读

研究在基于 GSM8K 的工具调用场景中审计了三个追踪级检测器,覆盖六个生产模型、每个模型 30 道题,发现最终正确性、可见复验与故障传播三类标签会系统性互相矛盾。

来源:arXiv cs.SE · arxiv.org