arXiv cs.SE· Jennifer Wang, Joachim Baumann, Daniel E. Ho, Sanmi Koyejo·· 4 小时前精选AI 评分62
研究：API 基准分数无法可靠迁移到聊天机器人界面
API Benchmark Scores Do Not Reliably Transfer to Chatbot Interfaces
AI 导读
一项针对 ChatGPT、Claude 和 Gemini 的审计研究覆盖七个系统和九个基准，发现 API 评测与聊天界面评测存在系统性差异：API 准确率平均高 3.4 个百分点，重测一致性平均高 2.1 个百分点。
推荐理由
研究用七个系统、九个基准的审计数据说明 API 分数与聊天界面表现存在系统性差距，可帮助读者理解评测口径对结论的影响。
来源：arXiv cs.SE · arxiv.org