Hugging Face Daily Papers·· 2 天前精选AI 评分58
RoboTryOn：用虚拟试穿思路把人类视频转成机器人演示
RoboTryOn: Synthesizing Dexterous Robot Demonstrations from Human Videos via Virtual Try-On
AI 导读
RoboTryOn 提出把人类演示视频翻译成目标机器人的视频，从而在没有真实机器人演示的情况下训练控制策略。方法上保留原任务、物体和背景，只把人类换成参考图指定的机器人，通过自回归翻译关键帧并以手部骨架运动引导合成，再用带深度特征的逆动力学模型（IDM）推断动作标签。
推荐理由
论文把人类视频中的动作替换成机器人外观来生成训练数据，并给出成功率从 2% 到 60% 的对比。
来源：Hugging Face Daily Papers · huggingface.co