跳到正文
Hugging Face Daily Papers·· 2 天前AI 评分31

工具调用评审模型存在“推导鸿沟”:DeRef 用独立参考模型提升参数校验 AUROC

Judges Follow the Reference: The Derivation Gap in Verifying Tool-Call Arguments

AI 导读

研究发现工具调用评审模型(judge)在输入中缺少参考文本时,会低估正确参数值的接受率,作者称之为“推导鸿沟”,该现象出现在包括 CLM、Jev 在内的全部七个被评测评审模型上。为此提出的 DeRef 让一个独立模型在不看候选值的情况下读取完整历史并写出参考,在三个 benchmark 上提升了所有评审模型的参数 AUROC,受控测试中 AUROC 从随机水平或更低提升至 98.40–99.59。

来源:Hugging Face Daily Papers · huggingface.co