[论文解读] Point-wise Convolutional Neural Network

Binh‐Son Hua, Minh-Khoi Tran+1 more|arXiv (Cornell University)|Dec 14, 2017

3D Shape Modeling and Analysis参考文献 30被引用 14

一句话总结

本文提出一种用于3D点云理解的逐点卷积神经网络，引入一种新型卷积算子，可在点云中的每个点上直接应用卷积。全卷积架构在语义分割和物体识别任务中实现了具有竞争力的性能，证明了在非结构化3D数据上高效、逐点学习的可行性。

ABSTRACT

Deep learning with 3D data such as reconstructed point clouds and CAD models has received great research interests recently. However, the capability of using point clouds with convolutional neural network has been so far not fully explored. In this technical report, we present a convolutional neural network for semantic segmentation and object recognition with 3D point clouds. At the core of our network is point-wise convolution, a convolution operator that can be applied at each point of a point cloud. Our fully convolutional network design, while being simple to implement, can yield competitive accuracy in both semantic segmentation and object recognition task.

研究动机与目标

• 为解决直接将卷积神经网络应用于缺乏规则网格结构的非结构化3D点云的挑战。
• 开发一种新型卷积算子——逐点卷积，使其在点云的每个独立点上运行。
• 设计一种简单易实现但对3D语义分割和物体识别有效的全卷积网络架构。
• 证明逐点卷积在3D点云任务中可实现与现有方法相当的性能。

提出的方法

• 核心创新是逐点卷积，即在点云中每个点上独立应用卷积操作，利用其局部邻域。
• 网络采用全卷积设计，支持端到端学习，无需中间的体素化或基于网格的表示。
• 通过在点云的局部邻域上应用可学习滤波器来执行局部特征提取，从而保留空间结构。
• 网络直接处理原始3D坐标及潜在的附加特征（如法线），避免将数据预处理为规则网格。
• 使用标准深度学习优化技术，在点云数据集上对分割和识别任务进行端到端训练。

实验结果

研究问题

• RQ1 能否通过逐点方法有效直接地将卷积操作应用于非结构化的3D点云？
• RQ2 基于逐点卷积的全卷积网络在语义分割和物体识别方面与现有方法相比如何？
• RQ3 逐点卷积能否在保留局部几何结构的同时，实现在3D数据上的高效且准确的特征学习？

主要发现

• 所提出的逐点卷积网络在3D点云的语义分割和物体识别任务中均实现了具有竞争力的准确率。
• 全卷积设计实现了高效且直接的实现方式，无需将数据转换为体素网格。
• 该方法证明了在无规则网格结构的情况下，对点云进行直接卷积是可行且有效的。
• 网络在直接处理原始3D坐标和局部邻域的同时，仍保持了高性能。