工具调用评审模型存在推导鸿沟，DeRef 提升参数校验

论文作者发现，工具调用评审模型（judge）在输入中缺少参考文本时，会低估正确参数值的接受率，作者称之为“推导鸿沟”。该现象出现在包括 CLM、Jev 在内的全部七个被评测评审模型上。 为此提出的 DeRef 让一个独立模型在不看候选值的情况下读取完整历史并写出参考。作者称，DeRef 在三个 benchmark 上提升了所有评审模型的参数 AUROC，受控测试中 AUROC 从随机水平或更低提升至 98.40–99.59。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。