CulturalRiddles 多文化谜语基准发布
热点事件观察中
CulturalRiddles 多文化谜语基准发布
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
研究者发布 CulturalRiddles,一个由人类通过社区协作原创、覆盖 62 种文化(45 个国家、51 种语言)的谜语基准,用于考察模型的溯因与组合推理能力。团队用自动评测和大规模人工评测测试了 28 种 LLM 配置,前沿模型在部分社区的准确率最高仅 22%。 研究者称,全部产物已公开,并提供开放贡献流程以扩展基准的语言与文化覆盖。
AI 根据报道生成 · 2 小时前更新
最新进展10月21日 04:00
CulturalRiddles:覆盖 62 种文化的谜语基准发布,前沿模型部分社区准确率仅 22%报道时间线
沿着报道,了解事件的不同侧面。
10月21日
- Hugging Face Daily PapersCulturalRiddles:覆盖 62 种文化的谜语基准发布,前沿模型部分社区准确率仅 22%
研究者发布 CulturalRiddles,一个由人类通过社区协作原创、覆盖 62 种文化(45 个国家、51 种语言)的谜语基准,要求模型具备溯因与组合推理能力。团队用自动评测和大规模人工评测测试了 28 种 LLM 配置,前沿模型在部分社区准确率最高仅 22%。全部产物已公开,并提供开放贡献流程以扩展语言与文化覆盖。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。