跳到正文
热点事件观察中

CulturalRiddles 多文化谜语基准发布

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

研究者发布 CulturalRiddles,一个由人类通过社区协作原创、覆盖 62 种文化(45 个国家、51 种语言)的谜语基准,用于考察模型的溯因与组合推理能力。团队用自动评测和大规模人工评测测试了 28 种 LLM 配置,前沿模型在部分社区的准确率最高仅 22%。 研究者称,全部产物已公开,并提供开放贡献流程以扩展基准的语言与文化覆盖。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. Hugging Face Daily Papers
    CulturalRiddles:覆盖 62 种文化的谜语基准发布,前沿模型部分社区准确率仅 22%

    研究者发布 CulturalRiddles,一个由人类通过社区协作原创、覆盖 62 种文化(45 个国家、51 种语言)的谜语基准,要求模型具备溯因与组合推理能力。团队用自动评测和大规模人工评测测试了 28 种 LLM 配置,前沿模型在部分社区准确率最高仅 22%。全部产物已公开,并提供开放贡献流程以扩展语言与文化覆盖。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。