跳到正文
Hugging Face Daily Papers·· 1 天前AI 评分40

MMEnterprise-Bench:评估多模态智能体在动态企业记录上的推理能力

MMEnterprise-Bench: Evaluating Enterprise Agents over Evolving Multimodal Records

AI 导读

研究者提出 MMEnterprise-Bench,用 1,613 道题评估多模态智能体在持续演化的企业协作记录上的推理能力,题目分为证据推理、冲突消解和不可回答三类。对 10 个闭源与开源多模态 LLM 的评测显示,即使最强模型在证据存在跨来源或时间冲突、或需要跨多张图片时也表现吃力。此外,提高检索预算或换用更大的检索器能提升证据召回,但并未稳定转化为更高的答题准确率。

来源:Hugging Face Daily Papers · huggingface.co