[论文解读] Point Cloud Matters: Rethinking the Impact of Different Observation Spaces on Robot Learning

Haoyi Zhu, Yating Wang+4 more|arXiv (Cornell University)|Feb 4, 2024

Robotics and Sensor-Based Localization被引用 4

一句话总结

本文研究了不同观测模态——RGB、RGB-D 和 3D 点云——在接触丰富操作任务中对机器人学习的影响。在 ManiSkill2 和 RLBench 的 17 项任务中，采用统一的 Action Chunking Transformer 策略，结果表明点云观测始终优于 RGB 和 RGB-D，成功率达到最高，并在视角、光照、噪声和背景变化等条件下展现出更优的零样本泛化能力。

ABSTRACT

In robot learning, the observation space is crucial due to the distinct characteristics of different modalities, which can potentially become a bottleneck alongside policy design. In this study, we explore the influence of various observation spaces on robot learning, focusing on three predominant modalities: RGB, RGB-D, and point cloud. We introduce OBSBench, a benchmark comprising two simulators and 125 tasks, along with standardized pipelines for various encoders and policy baselines. Extensive experiments on diverse contact-rich manipulation tasks reveal a notable trend: point cloud-based methods, even those with the simplest designs, frequently outperform their RGB and RGB-D counterparts. This trend persists in both scenarios: training from scratch and utilizing pre-training. Furthermore, our findings demonstrate that point cloud observations often yield better policy performance and significantly stronger generalization capabilities across various geometric and visual conditions. These outcomes suggest that the 3D point cloud is a valuable observation modality for intricate robotic tasks. We also suggest that incorporating both appearance and coordinate information can enhance the performance of point cloud methods. We hope our work provides valuable insights and guidance for designing more generalizable and robust robotic models. Codes are available at https://github.com/HaoyiZhu/PointCloudMatters.

研究动机与目标

• 评估 RGB、RGB-D 和 3D 点云观测模态在机器人学习中的相对有效性。
• 探究在视角变化、光照、噪声和背景变化等视觉与几何扰动下，点云是否能提供更好的零样本泛化能力。
• 评估在不同模态下，使用最先进预训练视觉表征（PVRs）带来的性能提升。
• 建立一个公平、统一的比较框架，避免使用领域特定或复杂的架构技巧。
• 提供实证证据，证明点云提供的 3D 空间信息在复杂操作任务中比基于 2D 外观的观测更具鲁棒性和有效性。

提出的方法

• 在所有观测模态中均采用 Action Chunking Transformer（ACT）策略网络作为控制器，以确保策略架构的一致性。
• 为每种模态使用简单且广泛采用的编码器：ResNet50、ViT-B、MultiViT-B、SpUNet34，以及 R3M、VC-1、MultiMAE 和 PonderV2 等 PVRs。
• 在两个基准测试（ManiSkill2 和 RLBench）的 17 项接触丰富任务上评估性能，使用两种模拟器以增强鲁棒性。
• 比较从零开始训练和使用预训练的模型，以评估样本效率和泛化能力。
• 在相机视角、光照强度、渲染噪声水平和背景颜色变化下测量零样本泛化能力。
• 将平均成功率和平均排名作为所有评估中的主要指标。

Figure 1 : Point cloud has better zero-shot generalization ability on camera view and visual changes. First row: Zero-shot camera view generalization of different observations with training-from-scratch encoders ( left) and with SOTA PVRs ( right ) . Second row: Zero-shot generalization on different

实验结果

研究问题

• RQ1 在复杂、接触丰富的机器人操作任务中，3D 点云观测模态是否比 RGB 和 RGB-D 实现更高的性能？
• RQ2 在相机视角、光照和背景外观变化下，基于点云的策略与 RGB 和 RGB-D 相比，其零样本泛化能力如何？
• RQ3 预训练视觉表征（PVRs）在不同观测模态下能在多大程度上提升性能和泛化能力？
• RQ4 点云的性能优势在从零开始训练和预训练设置下是否保持一致？
• RQ5 在有限数据上训练策略时，不同观测模态的样本效率如何变化？

主要发现

• 在 17 项任务中，基于点云的方法在从零开始训练和预训练设置下均取得最高的平均成功率（29%）和平均排名（1.22），优于 RGB 和 RGB-D。
• 基于点云的策略在未见过的相机视角下泛化良好，在零样本评估中达到 29% 的成功率，而 RGB 和 RGB-D 分别为 18% 和 23%。
• 在不同光照条件下，点云模型在零样本泛化中最高可达到 25.3% 的成功率（例如光照强度为 3.00），显著优于 RGB（0.00%）和 RGB-D（0.00%）在极端光照下的表现。
• 在噪声鲁棒性测试中，点云模型在高噪声水平（64）下仍保持 21.0% 的成功率，而 RGB 和 RGB-D 模型则降至 0.00% 或接近 0.00%。
• 在背景颜色变化测试中，点云模型在 R1.0、G1.0 条件下达到 36.8% 的成功率，远超 RGB（0.00%）和 RGB-D（0.00%）。
• 仅使用 10% 的训练数据时，点云模型的平均成功率为 1.3%（PonderV2），而 RGB 和 RGB-D 模型则降至 0.00% 或接近 0.00%，表明其具有更优的样本效率。

Figure 2 : Overview of this work. We examine the impact of various observation spaces, specifically RGB, RGB-D, and point clouds, on robot learning. For this evaluation, we select prevalent and state-of-the-art methods, along with pretrained representations, and use them to train a action chunking t