[论文解读] RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools

Haochen Shi, Huazhe Xu+3 more|arXiv (Cornell University)|Jun 26, 2023

Robot Manipulation and Learning被引用 7

一句话总结

RoboCook 是一个机器人框架，通过结合自监督策略学习与基于图神经网络（GNN）的动力学建模及基于 PointNet 的工具分类，实现了对如面团等粘弹性物体的长时程多工具操作。该方法仅需每种工具 20 分钟的真实世界数据，即可在制作饺子和字母饼干等任务中超越当前最先进方法。

ABSTRACT

Humans excel in complex long-horizon soft body manipulation tasks via flexible tool use: bread baking requires a knife to slice the dough and a rolling pin to flatten it. Often regarded as a hallmark of human cognition, tool use in autonomous robots remains limited due to challenges in understanding tool-object interactions. Here we develop an intelligent robotic system, RoboCook, which perceives, models, and manipulates elasto-plastic objects with various tools. RoboCook uses point cloud scene representations, models tool-object interactions with Graph Neural Networks (GNNs), and combines tool classification with self-supervised policy learning to devise manipulation plans. We demonstrate that from just 20 minutes of real-world interaction data per tool, a general-purpose robot arm can learn complex long-horizon soft object manipulation tasks, such as making dumplings and alphabet letter cookies. Extensive evaluations show that RoboCook substantially outperforms state-of-the-art approaches, exhibits robustness against severe external disturbances, and demonstrates adaptability to different materials.

研究动机与目标

• 实现对复杂、粘弹性物体在涉及多种工具的长时程任务中实现自主机器人操作。
• 解决在复杂操作任务中工具选择与长期物理规划的挑战。
• 通过利用最小限度的真实世界交互数据进行自监督学习，减少对昂贵人工示范的依赖。
• 通过直接在真实世界视觉观测上训练 GNN，弥合动力学建模中的仿真到现实差距。

提出的方法

• 使用基于点云的场景表征，在三维空间中建模可变形物体和工具的状态。
• 利用在真实世界视频数据上训练的图神经网络（GNN）预测工具-物体交互的物理动力学。
• 集成基于 PointNet 的工具分类器，根据视觉输入在每个任务阶段选择最合适的工具。
• 在由学习到的 GNN 动力学模型生成的合成数据上训练目标条件化的自监督策略网络，以实现高效的在线推理。
• 将学习到的复杂技能策略（如抓取、滚压、按压）与手工编码的简单动作策略相结合。
• 采用闭环控制系统，实时集成感知、动力学预测、工具选择与动作执行。

实验结果

研究问题

• RQ1 机器人能否仅使用每种工具 20 分钟的真实世界数据，实现对粘弹性物体的长时程、多工具操作？
• RQ2 基于真实视觉观测训练的 GNN 动力学模型，在预测可变形物体操作中复杂工具-物体交互时是否有效？
• RQ3 基于真实世界训练的动力学模型生成的合成数据进行自监督策略学习，是否能超越 CEM 或强化学习等在线规划方法？
• RQ4 将工具分类与动力学建模相结合，在多工具场景中如何提升任务成功率？
• RQ5 该系统在不重新训练的情况下，对不同材料和形状的泛化能力如何？

主要发现

• RoboCook 在饺子制作和字母饼干制作任务中均优于当前最先进方法（包括 RoboCraft、CEM+GNN 和 RL+GNN），且性能提升具有统计显著性。
• 系统使用基于 PointNet 的架构实现了 99.6% 的工具分类准确率，表现出对光照和颜色变化的强鲁棒性。
• 人工评估显示，RoboCook 的输出在 92% 的情况下被人类判断为正确字母，优于基线方法的人工感知表现。
• 即使在严重外部干扰下，系统仍保持高成功率，展现出在实时执行过程中的强大鲁棒性。
• 在合成数据上训练的自监督策略比 CEM 或 RL 等在线规划方法能实现更快、更有效的动作生成。
• RoboCook 在无需重新训练的情况下实现跨材料泛化，成功在多种面团类型上塑造出相同的期望形状。