[论文解读] On the Efficacy of 3D Point Cloud Reinforcement Learning

Zhan Ling, Yunchao Yao+2 more|arXiv (Cornell University)|Jun 11, 2023

Reinforcement Learning in Robotics被引用 6

一句话总结

本文系统性地比较了在机器人操控与控制任务中，基于3D点云的强化学习（RL）与基于2D图像的RL。结果表明，由于其固有的3D归纳偏置，3D点云在需要代理-物体及物体-物体空间关系推理的任务中显著提升了样本效率和性能，而在更简单的2D任务中表现相当。

ABSTRACT

Recent studies on visual reinforcement learning (visual RL) have explored the use of 3D visual representations. However, none of these work has systematically compared the efficacy of 3D representations with 2D representations across different tasks, nor have they analyzed 3D representations from the perspective of agent-object / object-object relationship reasoning. In this work, we seek answers to the question of when and how do 3D neural networks that learn features in the 3D-native space provide a beneficial inductive bias for visual RL. We specifically focus on 3D point clouds, one of the most common forms of 3D representations. We systematically investigate design choices for 3D point cloud RL, leading to the development of a robust algorithm for various robotic manipulation and control tasks. Furthermore, through comparisons between 2D image vs 3D point cloud RL methods on both minimalist synthetic tasks and complex robotic manipulation tasks, we find that 3D point cloud RL can significantly outperform the 2D counterpart when agent-object / object-object relationship encoding is a key factor.

研究动机与目标

• 探究3D点云表示在视觉强化学习中何时以及如何提供有益的归纳偏置。
• 在多样化的机器人控制与操控任务中，系统性地比较基于3D点云的RL与基于2D图像的RL。
• 识别基于3D点云的RL智能体的最优设计选择，例如后处理、数据增强和网络架构。
• 分析3D表示在编码代理-物体及物体-物体空间关系方面的作用，以提升策略泛化能力。
• 为未来3D视觉强化学习研究提供实用指导与稳健基线算法。

提出的方法

• 作者使用PointNet作为主干网络，从3D点云观测中提取特征，训练并比较基于3D点云的RL智能体。
• 实施并评估了多种点云后处理策略，包括选择性下采样，优先保留代理本体上的点而非背景点。
• 采用多帧观测堆叠（单帧与双连续帧）以评估3D点云智能体在时间信息整合方面的能力。
• 应用数据增强技术以提升训练期间3D点云表示的鲁棒性与泛化能力。
• 实验在PlaNet基准（DMControl）和ManiSkill基准上进行，涵盖极简的合成任务与复杂的机器人操控任务。
• 通过消融实验隔离设计选择的影响，如点云采样策略、输入分辨率和网络归纳偏置。

(a) Training curves for DM Control and ManiSkill tasks.

实验结果

研究问题

• RQ1 在需要3D空间推理的任务中，3D点云表示是否相较于2D图像表示具有显著的性能优势，尤其是在视觉强化学习中？
• RQ2 点云后处理、数据增强和网络架构等设计选择如何影响3D点云RL智能体的样本效率与性能？
• RQ3 在涉及代理-物体或物体-物体关系推理的任务中，3D表示在哪些类型的任务中带来最大收益？
• RQ4 为何3D点云智能体在Cheetah-Run和Walker-Walk等DMControl任务中表现不如2D智能体，且该问题是否可被缓解？
• RQ5 3D点云智能体在多帧时间信息整合方面，相较于2D图像智能体，效果如何？

主要发现

• 在DMControl任务中，若代理-物体或物体-物体关系推理需求极少（如Cheetah-Run、Walker-Walk），3D点云RL与2D图像RL表现相当。
• 在ManiSkill的复杂机器人操控任务中（如OpenCabinetDoor、PushChair），3D点云RL在样本效率和最终性能上显著优于2D图像RL智能体。
• 在点云下采样过程中保留更高比例的代理本体上的点，可提升智能体性能，表明保留任务关键点的后处理策略至关重要。
• 在动态密集型任务中，3D点云智能体的双帧堆叠性能增益远小于2D图像智能体，表明其在时间特征整合方面存在局限。
• 极简合成实验确认，由于对3D相似性的归纳偏置，3D点云表示能更优地实现空间关系推理的泛化。
• 基于PointNet的3D网络对输入扰动具有鲁棒性，但其在时间推理方面的能力仍远逊于2D CNNs。

(b) Our minimalist motivating example.