[论文解读] RfD-Net: Point Scene Understanding by Semantic Instance Reconstruction

Yinyu Nie, Ji Hou+2 more|arXiv (Cornell University)|Nov 30, 2020

3D Shape Modeling and Analysis参考文献 68被引用 8

一句话总结

RfD-Net 是一种新颖的端到端框架，通过将全局定位与局部形状预测解耦，直接从原始点云中联合检测 3D 目标并重建其密集网格。它利用跳跃传播模块和隐式函数学习，实现了最先进性能，在相比先前方法提升超过 11% 的网格 IoU 的同时，持续提高了多种主干网络的 3D 检测准确率。

ABSTRACT

Semantic scene understanding from point clouds is particularly challenging as the points reflect only a sparse set of the underlying 3D geometry. Previous works often convert point cloud into regular grids (e.g. voxels or bird-eye view images), and resort to grid-based convolutions for scene understanding. In this work, we introduce RfD-Net that jointly detects and reconstructs dense object surfaces directly from raw point clouds. Instead of representing scenes with regular grids, our method leverages the sparsity of point cloud data and focuses on predicting shapes that are recognized with high objectness. With this design, we decouple the instance reconstruction into global object localization and local shape prediction. It not only eases the difficulty of learning 2-D manifold surfaces from sparse 3D space, the point clouds in each object proposal convey shape details that support implicit function learning to reconstruct any high-resolution surfaces. Our experiments indicate that instance detection and reconstruction present complementary effects, where the shape prediction head shows consistent effects on improving object detection with modern 3D proposal network backbones. The qualitative and quantitative evaluations further demonstrate that our approach consistently outperforms the state-of-the-arts and improves over 11 of mesh IoU in object reconstruction.

研究动机与目标

• 为解决从稀疏、不规则点云中进行语义场景理解的挑战，该挑战限制了基于网格的深度学习方法的应用。
• 通过实现从稀疏点云中进行高分辨率隐式表面学习，克服 3D 形状重建中的分辨率瓶颈。
• 在 3D 目标检测与形状重建之间建立互补学习循环，以提升两项任务的性能。
• 开发一种直接预测实例级语义、姿态和完整网格的框架，而无需依赖体素化或 2D 图像投影。
• 展示联合训练在多种 3D 检测主干网络及不同输入稀疏性下的有效性。

提出的方法

• RfD-Net 采用从检测中重建的范式，将 3D 实例检测与密集表面重建分离。
• 它使用 3D 候选框网络（例如 VoteNet）生成具有高目标性（objectness）的物体候选框，这些候选框随后被用作局部形状预测的输入。
• 跳跃传播模块将候选框特征传递到每个检测到的物体周围的点簇，从而在保留空间上下文的前提下实现局部形状生成。
• 形状生成器使用隐式神经表示（例如多层感知机）从局部点簇中预测高分辨率网格。
• 应用目标性丢弃（Objectness Dropout）以过滤低置信度的候选框，确保仅使用有意义的点簇进行形状学习。
• 该框架通过联合损失函数进行端到端训练，该损失函数结合了检测与重建目标，实现互补优化。

实验结果

研究问题

• RQ1 与独立训练相比，3D 检测与形状重建的联合学习是否能提升两项任务的性能？
• RQ2 直接从原始点云中预测密集网格是否优于基于体素或基于图像的基线方法，在 3D 实例重建任务中表现更优？
• RQ3 所提出的跳跃传播模块如何影响重建表面的质量与检测准确率？
• RQ4 该方法在不同输入点云稀疏性及不同 3D 检测主干网络架构下的鲁棒性如何？
• RQ5 形状预测头是否能提升多种 3D 检测网络的检测性能，反之亦然？”

主要发现

• 当以 VoteNet 作为主干网络时，RfD-Net 在 3D 检测基准上达到 35.10 mAP，优于基线 2.42 个百分点。
• 与当前最先进方法相比，该方法在物体重建任务中将网格 IoU 提升超过 11%，证明了其在几何保真度方面的优越性。
• 与形状预测头联合训练可一致提升多种主干网络的 3D 检测性能，包括 BoxNet（+2.48 mAP）、MLCVNet（+1.37 mAP）和 VoteNet+DGCNN（+2.42 mAP）。
• 该模型在稀疏输入下仍保持强大性能，在仅 20,000 个输入点时达到 33.89 mAP 和 14.39% 的网格 IoU。
• 消融研究证实，结合点去噪的跳跃传播模块表现最佳，优于省略候选框特征或点簇的配置。
• 该方法在不同目标性阈值下均表现出一致改进，最优性能出现在 N_d = 10 时，实现了学习质量与效率的平衡。