[论文解读] SE(3)-Equivariant Relational Rearrangement with Neural Descriptor Fields

Anthony Simeonov, Yilun Du+5 more|arXiv (Cornell University)|Nov 17, 2022

3D Shape Modeling and Analysis被引用 7

一句话总结

本文提出关系神经描述符场（R-NDFs），一种仅需5–10次点云示范即可实现机器人多目标重排任务的方法。该方法通过神经描述符场（NDFs）学习任务相关部件上的一致局部坐标系，并结合基于能量的联合配置模型，实现SE(3)-等变、可泛化的操作。通过端到端学习优化坐标系对齐并精炼变换，该方法在仿真和真实世界设置中均实现了SE(3)-等变、可泛化的操作。

ABSTRACT

We present a method for performing tasks involving spatial relations between novel object instances initialized in arbitrary poses directly from point cloud observations. Our framework provides a scalable way for specifying new tasks using only 5-10 demonstrations. Object rearrangement is formalized as the question of finding actions that configure task-relevant parts of the object in a desired alignment. This formalism is implemented in three steps: assigning a consistent local coordinate frame to the task-relevant object parts, determining the location and orientation of this coordinate frame on unseen object instances, and executing an action that brings these frames into the desired alignment. We overcome the key technical challenge of determining task-relevant local coordinate frames from a few demonstrations by developing an optimization method based on Neural Descriptor Fields (NDFs) and a single annotated 3D keypoint. An energy-based learning scheme to model the joint configuration of the objects that satisfies a desired relational task further improves performance. The method is tested on three multi-object rearrangement tasks in simulation and on a real robot. Project website, videos, and code: https://anthonysimeonov.github.io/r-ndf/

研究动机与目标

• 在新物体实例上实现零样本泛化，适用于任意初始位姿的关系操作任务。
• 通过从少量示范中学习一致的局部坐标系，减少对手动关键点标注的依赖。
• 通过基于能量的模型联合建模物体对的配置，克服坐标系定位中的误差累积问题。
• 实现在桌面环境中对多样化、未见过的物体对的关系操作的现实世界部署。
• 提升对分布偏移、遮挡和传感器噪声的鲁棒性，以应对真实世界执行中的挑战。

提出的方法

• 该方法使用两个神经描述符场（NDFs），每个物体一个，以编码3D几何结构并预测任务相关部件的空间描述符。
• 仅需一次示范中的单个3D关键点标签，通过非凸优化目标函数，实现不同物体实例间一致的局部坐标系优化。
• 通过匹配NDFs中的描述符，框架可推断未见物体对中这些坐标系的6D位姿，从而实现SE(3)-等变的变换预测。
• 训练一个基于能量的模型（EBM）以联合建模两个物体的相对配置，从而精炼预测的变换以满足期望的空间关系。
• EBM通过梯度下降进行端到端优化，其性能超越仅依赖坐标系定位的基线方法，显著提升对齐精度。
• 系统通过包含保守无碰撞路径点的运动规划进行部署，以增强真实世界中的鲁棒性。

实验结果

研究问题

• RQ1 少量示范（5–10次）是否足以在关系重排任务中实现对具有任意初始位姿的新物体实例的泛化？
• RQ2 如何在无需人工标注的前提下，为多样化、未见过的物体实例的任务相关部件分配一致的局部坐标系？
• RQ3 通过基于能量的模型联合建模物体对的配置，是否能超越独立坐标系定位，进一步提升变换精度？
• RQ4 该方法在真实世界中对点云数据的噪声、分布偏移和感知不完善具有多强的鲁棒性？
• RQ5 该框架是否能泛化到真实世界桌面环境中的多步操作任务？

主要发现

• R-NDFs在三个仿真多目标重排任务中均取得高成功率，优于仅依赖坐标系定位的基线方法。
• 所提出的用于一致坐标系分配的优化方法显著降低了误对齐误差，尤其在物体形状和初始位姿差异较大时表现更优。
• 在仿真中，基于能量的联合配置模型使任务成功率相比基于坐标系的基线方法提升15–20%，尤其在堆叠和悬挂等复杂关系中表现突出。
• 在真实世界实验中，R-NDFs成功执行了多样化物体对（如水杯放在支架上、碗放在水杯上）的重排任务，且在多次试验中保持一致性能。
• 结合数据增强和多初始值优化后，该方法对点云噪声、遮挡和传感器误差具有强鲁棒性。
• 通过使用多样化示范并针对增强数据仔细训练NDF，错误操作模式（如把手对齐错误或瓶子倒置放置）显著减少。