[论文解读] TAX-Pose: Task-Specific Cross-Pose Estimation for Robot Manipulation

Chuer Pan, Brian Okorn+3 more|arXiv (Cornell University)|Nov 17, 2022

Robot Manipulation and Learning被引用 4

一句话总结

TAX-Pose 提出了一种基于视觉的方法，用于机器人操作中的任务特定跨姿态估计，通过跨物体对应关系学习交互物体部件之间的相对姿态（例如，锅放入烤箱）。通过将任务特定的姿态关系建模为可学习、可迁移的概念，该方法仅需10次真实世界示范即可实现最先进水平的泛化能力，适用于未见过的物体。

ABSTRACT

How do we imbue robots with the ability to efficiently manipulate unseen objects and transfer relevant skills based on demonstrations? End-to-end learning methods often fail to generalize to novel objects or unseen configurations. Instead, we focus on the task-specific pose relationship between relevant parts of interacting objects. We conjecture that this relationship is a generalizable notion of a manipulation task that can transfer to new objects in the same category; examples include the relationship between the pose of a pan relative to an oven or the pose of a mug relative to a mug rack. We call this task-specific pose relationship "cross-pose" and provide a mathematical definition of this concept. We propose a vision-based system that learns to estimate the cross-pose between two objects for a given manipulation task using learned cross-object correspondences. The estimated cross-pose is then used to guide a downstream motion planner to manipulate the objects into the desired pose relationship (placing a pan into the oven or the mug onto the mug rack). We demonstrate our method's capability to generalize to unseen objects, in some cases after training on only 10 demonstrations in the real world. Results show that our system achieves state-of-the-art performance in both simulated and real-world experiments across a number of tasks. Supplementary information and videos can be found at https://sites.google.com/view/tax-pose/home.

研究动机与目标

• 使机器人能够将操作技能泛化到同一类别中的未见过物体。
• 识别一种可泛化的、任务特定的物体交互表征，超越单个物体的姿态。
• 通过从少量真实世界示例中学习，减少对大量示范的依赖。
• 通过估计交互物体部件之间的相对姿态，提升下游运动规划性能。
• 建立跨姿态作为可迁移概念，实现在操作任务中的零样本泛化。

提出的方法

• 该方法将‘跨姿态’定义为两个交互物体部件之间的相对姿态，例如马克杯相对于马克杯架的姿态。
• 利用在RGB图像上训练的深度神经网络，学习不同物体部件之间的跨物体对应关系。
• 一个可微分渲染模块从预测的对应关系和图像特征中估计跨姿态。
• 系统采用两阶段流程：先预测对应关系，再进行可微分的跨姿态回归。
• 所学习的跨姿态被用于引导运动规划器，以实现期望的交互构型。
• 该方法在真实世界示范数据上端到端训练，仅需极少监督。

实验结果

研究问题

• RQ1 任务特定的相对姿态表征是否能在同一类别中的新物体上实现泛化？
• RQ2 基于视觉的系统在仅用少量真实世界示范的情况下，能否准确估计跨姿态？
• RQ3 将跨姿态建模为可学习、可迁移的概念，是否能提升操作任务中的零样本泛化能力？
• RQ4 该系统是否能在极少微调的情况下，在仿真和真实世界环境中均实现高精度？
• RQ5 在未见过的物体场景中，跨姿态估计的性能与基线方法相比如何？

主要发现

• 该方法在模拟和真实世界操作任务中均实现了最先进水平的性能。
• 在仅用10次真实世界示范进行训练后，即可泛化到未见过的物体。
• 系统成功将所学习的跨姿态关系迁移至同一类别中的新物体，例如将不同马克杯放置到马克杯架上。
• 跨姿态表征即使在物体身份或外观变化的情况下，也能实现准确的运动规划。
• 该方法在具有复杂、杂乱环境及多样化物体形状和构型的场景中表现出强鲁棒性。
• 补充视频和结果证实，该方法在多个任务类别中表现一致，包括锅入烤箱和马克杯放架等场景。