跳到正文
Hugging Face Daily Papers·· 1 天前AI 评分32

准确但不谦逊:知识冲突下 LLM 智能体的认知谦逊评估

Accurate but Not Humble: Evaluating Epistemic Humility in LLM Agents under Knowledge Conflict

AI 导读

研究提出用认知谦逊(EH)评估 LLM 智能体在知识冲突下的表现,通过 Identify、Solve、Escalate(ISE)三个轨迹级行为维度,在受控冲突与多步执行中的自然冲突两种设定下评测四个智能体。结果显示更高任务准确率并不必然对应更强的认知谦逊:部分高准确率配置能识别冲突,却不在错误答案中传达未解决的不确定性。轨迹分析还发现智能体常在执行早期检测到冲突,却在后续步骤中未能维持或解决。

来源:Hugging Face Daily Papers · huggingface.co