跳到正文
Hugging Face Daily Papers·· 2 天前AI 评分40

Token-Set Choice Confounds POPE:VLM 幻觉评测中 Yes/No 提取的系统性审计

Token-Set Choice Confounds POPE: A Systematic Audit of Yes/No Extraction in VLM Hallucination Evaluation

AI 导读

论文审计了 POPE 基准上视觉语言模型的 Yes/No 读取方式,发现仅读取 token 的选择本身就会造成大幅 F1 波动。LLaVA-1.5-7B 在对抗集上测得 82.21 F1,比计划对比的基线高 1.21 至 8.67 分;改用覆盖带空格形式的八 token 查找后,对抗集 F1 变为 0.8221,6.13 分的偏移超过所调查六篇论文中五篇报告的对抗集增益。

来源:Hugging Face Daily Papers · huggingface.co