[论文解读] PolarNet: 3D Point Clouds for Language-Guided Robotic Manipulation

Shizhe Chen, Ricardo García+2 more|arXiv (Cornell University)|Sep 27, 2023

Multimodal Machine Learning Applications参考文献 50被引用 4

一句话总结

PolarNet 提出了一种基于3D点云的策略，用于语言引导的机器人操作，通过多视角点云融合、高效的 PointNext 编码以及多模态 Transformer，预测7自由度动作。该方法在 RLBench 上的单任务和多任务设置中均达到最先进性能，并在真实世界任务中实现了60%的平均成功率，展现出对视角变化的鲁棒性以及数据效率。

ABSTRACT

The ability for robots to comprehend and execute manipulation tasks based on natural language instructions is a long-term goal in robotics. The dominant approaches for language-guided manipulation use 2D image representations, which face difficulties in combining multi-view cameras and inferring precise 3D positions and relationships. To address these limitations, we propose a 3D point cloud based policy called PolarNet for language-guided manipulation. It leverages carefully designed point cloud inputs, efficient point cloud encoders, and multimodal transformers to learn 3D point cloud representations and integrate them with language instructions for action prediction. PolarNet is shown to be effective and data efficient in a variety of experiments conducted on the RLBench benchmark. It outperforms state-of-the-art 2D and 3D approaches in both single-task and multi-task learning. It also achieves promising results on a real robot.

研究动机与目标

• 为解决基于2D图像的策略在语言引导机器人操作中的局限性，例如三维空间推理能力差以及对视角变化敏感的问题。
• 探索3D点云表示在多任务设置中，将语言指令与精确的3D动作预测相结合的有效性。
• 设计一种高效、数据高效且鲁棒的策略，通过统一的3D点云输入在多个操作任务间实现泛化。
• 通过利用3D点云中的几何一致性，相比基于2D图像的方法，提升对相机视角扰动的鲁棒性。
• 通过在真实机器人演示数据上微调，实现语言条件策略在真实世界中的部署。

提出的方法

• 利用校准的外参参数，从多视角 RGB-D 相机构建统一的3D点云，融合颜色和深度特征。
• 应用点云滤波去除无关点（如背景、机器人部件），以提升表示质量。
• 采用 PointNext 作为主干编码器，高效处理稀疏3D点云，并建模局部与全局上下文。
• 使用多模态 Transformer 对编码后的点云特征和分词后的语言指令进行注意力计算，实现跨模态融合。
• 通过头部网络预测7自由度动作（3D位置、3D旋转、夹爪开合），由运动规划器执行。
• 在 RLBench 基准上使用模仿学习进行端到端训练，采用监督演示数据，并在真实机器人数据上进行微调。

实验结果

研究问题

• RQ1 在语言引导的机器人操作中，3D点云表示是否能超越基于2D图像的方法，尤其是在多任务和多变化设置下？
• RQ2 点云输入的设计（如坐标系、特征构成、视角融合方式）在多大程度上影响策略性能？
• RQ3 基于3D点云的策略在多样化操作任务中泛化能力如何，能否有效应对视角变化？
• RQ4 在真实机器人硬件上，基于3D点云的策略是否能在有限的真实数据下实现高成功率？
• RQ5 与基于2D图像的基线方法相比，该模型在相机位姿扰动下的鲁棒性如何？

主要发现

• PolarNet 在多任务、多变化的 RLBench 设置下（18项任务，249种变化）实现了78.3%的成功率，优于先前的2D和3D方法。
• 在多任务设置中，其成功率相比先前模型提升了+11.1%，表明在任务间具有强大的泛化能力。
• PolarNet 的训练速度是 PerAct 的13倍，仅需在4块 V100 GPU 上训练30小时，而 PerAct 需要8块 V100 GPU 上训练16天。
• 在真实世界任务中，经过每项任务20次人类演示的微调后，PolarNet 在7项任务上实现了60%的平均成功率。
• 在视角扰动评估中，PolarNet 的性能下降幅度显著低于 Hiveformer（基于2D的方法），证实了其对相机位姿变化的鲁棒性。
• 失败案例主要源于物体混淆（如草莓与苹果）和抓取姿态预测不精确，表明在语义和空间精度方面仍存在局限。