POPE基准VLM幻觉评测受token读取方式影响

一篇论文审计了POPE基准上视觉语言模型幻觉评测的Yes/No读取方式，结论是仅token选择本身就会造成大幅F1波动。LLaVA-1.5-7B在对抗集上测得82.21 F1，比计划对比的基线高1.21至8.67分。 改用覆盖带空格形式的八token查找后，对抗集F1变为0.8221，6.13分的偏移超过所调查六篇论文中五篇报告的对抗集增益。论文作者称，未报告的token查找协议和量化会混淆所报告的幻觉缓解增益。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。