[论文解读] Review: deep learning on 3D point clouds

Saifullahi Aminu Bello, Shangshu Yu+1 more|arXiv (Cornell University)|Jan 17, 2020

3D Shape Modeling and Analysis参考文献 102被引用 4

一句话总结

本文综述了用于3D点云处理的最先进深度学习方法，重点在于直接从非结构化点云中进行学习，以克服基于网格的预处理方法的局限性。文章调研了PointNet及其变体等架构，通过采样、分组和基于MLP的特征学习捕捉局部结构，在ModelNet40和KITTI等分类、分割和检测基准上表现出色。

ABSTRACT

Point cloud is point sets defined in 3D metric space. Point cloud has become one of the most significant data format for 3D representation. Its gaining increased popularity as a result of increased availability of acquisition devices, such as LiDAR, as well as increased application in areas such as robotics, autonomous driving, augmented and virtual reality. Deep learning is now the most powerful tool for data processing in computer vision, becoming the most preferred technique for tasks such as classification, segmentation, and detection. While deep learning techniques are mainly applied to data with a structured grid, point cloud, on the other hand, is unstructured. The unstructuredness of point clouds makes use of deep learning for its processing directly very challenging. Earlier approaches overcome this challenge by preprocessing the point cloud into a structured grid format at the cost of increased computational cost or lost of depth information. Recently, however, many state-of-the-arts deep learning techniques that directly operate on point cloud are being developed. This paper contains a survey of the recent state-of-the-art deep learning techniques that mainly focused on point cloud data. We first briefly discussed the major challenges faced when using deep learning directly on point cloud, we also briefly discussed earlier approaches which overcome the challenges by preprocessing the point cloud into a structured grid. We then give the review of the various state-of-the-art deep learning approaches that directly process point cloud in its unstructured form. We introduced the popular 3D point cloud benchmark datasets. And we also further discussed the application of deep learning in popular 3D vision tasks including classification, segmentation and detection.

研究动机与目标

• 解决直接将深度学习应用于非结构化、不规则且无序的3D点云所面临的挑战。
• 综述早期将点云转换为结构化网格的方法，突出其在计算成本和信息损失方面的关键局限性。
• 对近期最先进的直接以原始形式处理点云的深度学习方法进行详细综述。
• 介绍关键的3D点云基准数据集，并评估在主要3D视觉任务中的性能表现。
• 识别开放的研究方向，如实例分割和大规模场景处理，在3D点云学习中的应用。

提出的方法

• 将点云深度学习中的挑战分类为不规则性、非结构化特性以及无序点集。
• 回顾基于预处理的方法，这些方法将点云转换为体素网格或鸟瞰图，以支持CNN的使用。
• 分析直接点云处理方法，特别是PointNet及其扩展，这些方法使用排列不变操作（如最大池化）。
• 解释局部特征提取的核心流程：通过采样选择中心点，利用K-NN将邻近点分组，并应用MLP或类似PointNet的模块来学习局部表示。
• 强调通过在局部块内建模点间关系的架构创新，以提升特征的可区分性。
• 根据模态（LiDAR、RGB-D、多模态）、速度和在ModelNet40与KITTI等标准基准上的性能，对方法进行比较。

实验结果

研究问题

• RQ1 直接将深度学习应用于非结构化3D点云的主要挑战是什么？
• RQ2 基于预处理的方法如何克服这些挑战，其关键局限性是什么？
• RQ3 支持点云直接深度学习的核心架构原则是什么，它们如何保持局部和全局结构？
• RQ4 近期方法如何在捕捉局部几何关系方面超越PointNet？
• RQ5 在实例分割和大规模场景理解等3D点云任务中，当前的性能极限和开放挑战是什么？

主要发现

• PointNet及其变体在3D点云分类和分割任务中表现优异，其中PointNet++通过分层采样和分组机制提升了局部特征学习能力。
• 在ModelNet40基准上，PointNet仅使用XYZ坐标即实现了89.2%的分类准确率，证明了排列不变学习的有效性。
• 在KITTI数据集的3D检测任务中，PointPillars在3D检测基准上达到59.2%的mAP，在鸟瞰图基准上达到56.0%的mAP，推理速度为62 Hz。
• 如PointRCNN和VoxelNet等方法在KITTI 3D检测基准上的mAP超过80%，表明从点云中实现高精度目标检测的能力。
• 尽管已有进展，实例分割和从点云中直接进行3D检测仍研究不足，仅有少数工作如[120, 121]涉及大规模场景处理。
• 使用多模态输入（LiDAR与图像）可提升检测性能，例如AVOD-FPN在KITTI 3D基准上实现了55.62%的mAP。