[论文解读] Shelving, Stacking, Hanging: Relational Pose Diffusion for Multi-modal Rearrangement

Anthony Simeonov, Ankit Goyal+6 more|arXiv (Cornell University)|Jul 10, 2023

Advanced Vision and Imaging被引用 4

一句话总结

本文提出关系姿态扩散（RPDiff），一种基于扩散模型的6-DoF物体重排方法，能够从3D点云中预测多模态、精确的变换。通过在局部场景几何条件下迭代去噪物体姿态，该方法在仿真和真实世界设置中均能泛化于多样的物体形状、场景布局和重排配置。

ABSTRACT

We propose a system for rearranging objects in a scene to achieve a desired object-scene placing relationship, such as a book inserted in an open slot of a bookshelf. The pipeline generalizes to novel geometries, poses, and layouts of both scenes and objects, and is trained from demonstrations to operate directly on 3D point clouds. Our system overcomes challenges associated with the existence of many geometrically-similar rearrangement solutions for a given scene. By leveraging an iterative pose de-noising training procedure, we can fit multi-modal demonstration data and produce multi-modal outputs while remaining precise and accurate. We also show the advantages of conditioning on relevant local geometric features while ignoring irrelevant global structure that harms both generalization and precision. We demonstrate our approach on three distinct rearrangement tasks that require handling multi-modality and generalization over object shape and pose in both simulation and the real world. Project website, code, and videos: https://anthonysimeonov.github.io/rpdiff-multi-modal/

研究动机与目标

• 解决单个物体-场景关系存在多个有效放置位置的多模态重排解决方案挑战。
• 通过聚焦于局部几何特征而非全局场景结构，提升对未见场景布局和物体配置的泛化能力。
• 利用基于扩散的去噪框架从示范数据中实现准确且多样的重排预测，处理点云数据。
• 通过深度相机输入实现真实世界部署，无需显式物理交互建模或特定物体先验。
• 在三种不同重排任务（置物架、堆叠、悬挂）中实现鲁棒性能，并实现对新几何形态和姿态的零样本泛化。

提出的方法

• 通过创建最终示范配置的扰动版本，将物体重排建模为点云姿态去噪问题。
• 训练扩散模型以迭代方式逆转去噪过程，从多样化的初始噪声分布出发，生成多模态输出。
• 通过在物体周围的场景点云局部区域上条件化扩散过程，提升泛化能力，并忽略无关的全局干扰。
• 采用基于Transformer的架构，对物体和场景点使用自注意力机制，并在两者之间引入交叉注意力，以预测SE(3)变换。
• 对扩散时间步使用正弦位置嵌入进行条件化，并采用退火噪声调度，逐步减小扰动幅度。
• 通过独立的头部网络同时预测最终物体姿态和成功概率得分，实现不确定性感知推理。

Figure 1: By learning from a set of demonstrations of a rearrangement task, such as place the book in the shelf (A) and hang the mug on the rack (B), Relational Pose Diffusion (RPDiff) can produce multiple transformations that achieve the same object-scene relationship for new object/scene pairs.

实验结果

研究问题

• RQ1 基于扩散的方法能否有效从3D点云示范中建模多模态重排解决方案？
• RQ2 局部场景裁剪在提升对新场景布局和物体配置的泛化能力方面有何作用？
• RQ3 仅依赖几何信息、不考虑物理机制的方法，在真实世界设置中能否实现准确且多样的重排预测？
• RQ4 与单步回归相比，迭代去噪在拟合具有相似输入但不同目标的多模态示范数据时是否表现更优？
• RQ5 该方法在仿真和真实世界部署中，对未见物体形状、姿态和场景几何形态的泛化能力如何？

主要发现

• RPDiff在仿真和真实世界环境中，于三个具有挑战性的重排任务（置物架、堆叠、悬挂）中均达到最先进性能。
• 该模型能有效泛化至新物体形状和场景布局，包括此前未见过的支架配置和书架布局。
• 通过采用迭代去噪，该方法生成了多样且高质量的重排预测，覆盖多个有效解，而平均预测基线方法则不具备此能力。
• 局部场景裁剪显著提升了零样本泛化性能，相比全局上下文建模，其在分布外布局上的性能下降更小。
• 在真实世界悬挂任务中，该方法成功率达到87.5%，在模拟置物架任务中达到92.1%，且预测解具有高度多样性。
• 消融研究证实，扩散训练方案和局部裁剪对多模态性和泛化能力均至关重要，其缺失会使成功率下降超过30%。

Figure 2: Method Overview. (A) Starting from an object and scene point cloud ${\mathbf{P}_{\mathbf{O}}}$ and ${\mathbf{P}_{\mathbf{S}}}$ , we transform ${\mathbf{P}_{\mathbf{O}}}$ to a diverse set of initial poses. RPDiff takes the initial object-scene point clouds as input, iteratively updates the