跳到正文
Hugging Face Daily Papers·· 2 天前AI 评分34

RoboValue:面向机器人价值模型统一评估的细粒度仿真与真实基准

RoboValue: A Fine-Grained Sim-and-Real Benchmark for Unified Evaluation of Robotic Value Models

AI 导读

RoboValue 是一个细粒度仿真与真实基准,用于统一评估机器人价值模型,覆盖任务状态理解、时序进度监控、失败与恢复推理、价值一致性四个维度。其数据集包含 15 个仿真和 20 个真实世界操作任务,在零样本和单样本设置下评估代表性价值模型。结果显示,即使结果与前进进度得分较高的模型,在细粒度指令 grounding、依赖历史的进度跟踪和恢复评估上仍存在错误。

来源:Hugging Face Daily Papers · huggingface.co