[论文解读] PointFusion: Deep Sensor Fusion for 3D Bounding Box Estimation

Danfei Xu, Dragomir Anguelov+1 more|arXiv (Cornell University)|Nov 29, 2017

3D Surveying and Cultural Heritage参考文献 32被引用 55

一句话总结

PointFusion 将图像和原始3D点云数据与异构网络（PointNet + CNN）以及密集融合预测器结合起来，以估计3D边界框，在KITTI和SUN-RGBD上实现有竞争力的结果，而无需针对数据集的特定调优。

ABSTRACT

We present PointFusion, a generic 3D object detection method that leverages both image and 3D point cloud information. Unlike existing methods that either use multi-stage pipelines or hold sensor and dataset-specific assumptions, PointFusion is conceptually simple and application-agnostic. The image data and the raw point cloud data are independently processed by a CNN and a PointNet architecture, respectively. The resulting outputs are then combined by a novel fusion network, which predicts multiple 3D box hypotheses and their confidences, using the input 3D points as spatial anchors. We evaluate PointFusion on two distinctive datasets: the KITTI dataset that features driving scenes captured with a lidar-camera setup, and the SUN-RGBD dataset that captures indoor environments with RGB-D cameras. Our model is the first one that is able to perform better or on-par with the state-of-the-art on these diverse datasets without any dataset-specific model tuning.

研究动机与目标

• 激发一种通用的3D对象检测方法，能够在多样的传感器和环境中工作，而无需针对数据集的特定调优。
• 提出一种将图像特征与原始点云数据结合的架构，使用异构网络。
• 引入一种使用空间锚点的密集融合机制，以预测3D箱角点并选择最佳假设。

提出的方法

• 使用卷积神经网络对图像裁剪进行处理，以提取外观/几何特征。
• 使用 PointNet 变体处理原始3D点云，以获得点级和全局特征。
• 通过融合网络融合图像和点特征以预测3D边界框。
• 使用两种融合变体：一种是八个角点的全局回归器，另一种是密集融合，预测相对于输入3D点的角点偏移。
• 应用密集空间锚点方法，其中每个输入点产生一个角点偏移预测及其学习得分，然后选择最佳预测。
• 使用角点位置的回归损失和空间变换正则化项进行训练；探索对点选择的监督与无监督评分。

实验结果

研究问题

• RQ1 一个通用、传感器无关的融合模型是否能够在户外数据集KITTI和室内数据集SUN-RGBD上实现有竞争力的3D对象检测？
• RQ2 使用空间锚点的密集融合架构是否在3D框估计方面优于传统的全局角点回归？
• RQ3 将图像数据与原始点云融合与单独使用任一模态相比，在不同的目标类别（汽车、行人、自行车等）上表现如何？
• RQ4 对于选择最佳密集预测，监督评分与无监督评分的影响是什么？

主要发现

• PointFusion 结合密集融合和图像+点输入在 KITTI 和 SUN-RGBD 的多类上持续优于仅 lidar 的基线。
• 使用空间锚点（点作为锚点）的密集融合在3D框回归方面显著优于直接角点回归。
• 在若干设置中，选择最佳假设的无监督评分通常比有监督评分得到更好的结果。
• 该方法在 KITTI（汽车、行人、自行车）和 SUN-RGBD 上覆盖10–19个类别，具有竞争力的 AP3D，常常优于或匹配最先进方法，同时计算效率高。
• 将 RGB 数据与类 LiDAR 的点云融合在较小对象（行人、自行车）上获得最显著的增益，因为深度点较为稀疏。