Hugging Face Daily Papers·· 7 天前精选AI 评分52
CyberArena:在实时对称攻防对抗中评测 AI 智能体
CyberArena: Benchmarking AI Agents in Live Symmetric Attack-and-Defense Combat
AI 导读
CyberArena 是一个动态对称对抗基准,让两个智能体在隔离沙盒中按相同规则同时扮演攻击方和防御方,围绕持续变化的服务进行多轮对抗。研究团队用动态评分模型把对局过程映射为进攻、防御和领域能力三个维度的统一分数,并设计了自动化智能体流水线持续生成和校验新环境。在 40 个挑战、466 场对局中评测 12 个前沿 LLM 智能体,结果显示该基准能在单智能体基线触及上限处区分模型能力。
推荐理由
该基准把攻防双方放进同一沙盒实时对抗,并给出多维动态评分,可用于观察单智能体评测触及上限后的能力差异。
来源:Hugging Face Daily Papers · huggingface.co