[论文解读] Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud

Weijing Shi, Ragunathan+1 more|arXiv (Cornell University)|Mar 2, 2020

Advanced Neural Network Applications参考文献 22被引用 102

一句话总结

Point-GNN 提出了一种图神经网络，直接从 LiDAR 点云检测三维物体，通过将数据建模为固定半径邻域图并具备自动对齐机制以及框合并/打分步骤，实现仅使用点云即可在 KITTI 上达到最先进的结果。

ABSTRACT

In this paper, we propose a graph neural network to detect objects from a LiDAR point cloud. Towards this end, we encode the point cloud efficiently in a fixed radius near-neighbors graph. We design a graph neural network, named Point-GNN, to predict the category and shape of the object that each vertex in the graph belongs to. In Point-GNN, we propose an auto-registration mechanism to reduce translation variance, and also design a box merging and scoring operation to combine detections from multiple vertices accurately. Our experiments on the KITTI benchmark show the proposed approach achieves leading accuracy using the point cloud alone and can even surpass fusion-based algorithms. Our results demonstrate the potential of using the graph neural network as a new approach for 3D object detection. The code is available https://github.com/WeijingShi/Point-GNN.

研究动机与目标

• 证明并演示一个图神经网络可以直接从原始 LiDAR 点云检测三维物体，而无需网格/体素转换。
• 提出通过固定半径近邻连接对点云的紧凑图表示。
• 开发 Point-GNN，具有自动对齐机制以降低平移方差，并采用框合并/打分方法来融合顶点级检测。
• 通过 KITTI 实验展示仅点云检测可以达到领先的精度，媲美基于融合的方法。
• 提供消融研究以理解自动对齐、框合并/打分以及迭代深度对性能的影响。

提出的方法

• 从点云构建一个图，其中顶点是点，边在半径 r 内连接其邻居。
• 使用类似 PointNet 的集合函数（最大池化）将来自近邻点的特征嵌入到初始顶点状态中，刻画密集局部几何信息。
• 使用多轮 GNN，每轮使用 MLP 更新顶点状态：包括从顶点状态预测的自动对齐偏移 Delta x^t，并使用最大化操作对邻居特征进行聚合。
• 共享一个分类分支（MLP_cls）和一个定位分支（MLP_loc），为每个顶点预测对象类别和7-DOF 边界框。
• 相对于顶点位置对边界框进行编码，使用 Huber 损失进行定位；总损失为 l_total = alpha l_cls + beta l_loc + gamma l_reg。
• 引入框合并与打分过程（NMS 变体），使用重叠检测的中位框和一个对遮挡敏感的打分项来产生最终检测。

实验结果

研究问题

• RQ1 一个直接在点云上运行的图神经网络，既不进行体素化也不进行网格投影，是否能够实现具有竞争力的三维物体检测结果？
• RQ2 自动对齐机制是否能够降低平移方差并改善点云 GNN 的顶点到物体的关联？
• RQ3 框合并与打分策略是否能够将多顶点检测整合成连贯的物体边界框？
• RQ4 在 KITTI 基准上，使用 LiDAR 数据单独进行 Point-GNN 的性能如何，相较于基于融合的方法？
• RQ5 GNN 的迭代次数和数据增强对性能有何影响？

主要发现

• Point-GNN 使用仅 LiDAR 点云在 KITTI 上取得领先结果，甚至超过了一些基于融合的方法。
• 自动对齐降低平移方差并提升跨迭代的定位鲁棒性。
• 框合并和打分在标准 NMS 基线之上持续提升检测精度，特别是在与自动对齐结合时。
• 将 GNN 迭代从1次提升到2次可带来显著提升；更深的迭代可能面临优化挑战，在他们的设置中，2 次迭代通常表现最好。
• Bevá 被检查，他们的消融研究表明 Box merging + Box scoring + Auto-registration 相对于各自单独组件提供了累积增益。