跳到正文
Hugging Face Daily Papers·· 1 天前AI 评分34

CulturalRiddles:覆盖 62 种文化的谜语基准发布,前沿模型部分社区准确率仅 22%

CulturalRiddles: A Multicultural Benchmark of Riddles

AI 导读

研究者发布 CulturalRiddles,一个由人类通过社区协作原创、覆盖 62 种文化(45 个国家、51 种语言)的谜语基准,要求模型具备溯因与组合推理能力。团队用自动评测和大规模人工评测测试了 28 种 LLM 配置,前沿模型在部分社区准确率最高仅 22%。全部产物已公开,并提供开放贡献流程以扩展语言与文化覆盖。

来源:Hugging Face Daily Papers · huggingface.co