[论文解读] RevealNet: Seeing Behind Objects in RGB-D Scans

Ji Hou, Angela Dai+1 more|arXiv (Cornell University)|Apr 26, 2019

Advanced Neural Network Applications参考文献 54被引用 7

一句话总结

RevealNet 提出了一种新颖的端到端 3D 卷积神经网络，能够从不完整的 RGB-D 扫描中联合检测 3D 物体实例并预测其完整几何形状，通过统一利用颜色和几何特征实现。该方法实现了最先进性能，在 ScanNet 上 mAP@0.5 提升 15.8，在 SUNCG 上提升 18.5，通过统一的实例级补全实现‘透视物体观察’。

ABSTRACT

During 3D reconstruction, it is often the case that people cannot scan each individual object from all views, resulting in missing geometry in the captured scan. This missing geometry can be fundamentally limiting for many applications, e.g., a robot needs to know the unseen geometry to perform a precise grasp on an object. Thus, we introduce the task of semantic instance completion: from an incomplete RGB-D scan of a scene, we aim to detect the individual object instances and infer their complete object geometry. This will open up new possibilities for interactions with objects in a scene, for instance for virtual or robotic agents. We tackle this problem by introducing RevealNet, a new data-driven approach that jointly detects object instances and predicts their complete geometry. This enables a semantically meaningful decomposition of a scanned scene into individual, complete 3D objects, including hidden and unobserved object parts. RevealNet is an end-to-end 3D neural network architecture that leverages joint color and geometry feature learning. The fully-convolutional nature of our 3D network enables efficient inference of semantic instance completion for 3D scans at scale of large indoor environments in a single forward pass. We show that predicting complete object geometry improves both 3D detection and instance segmentation performance. We evaluate on both real and synthetic scan benchmark data for the new task, where we outperform state-of-the-art approaches by over 15 in mAP@0.5 on ScanNet, and over 18 in mAP@0.5 on SUNCG.

研究动机与目标

• 解决由于传感器限制导致物体部分被遮挡的不完整 3D 扫描问题。
• 提出新的语义实例补全任务：检测物体并推断其完整 3D 几何形状，包括未观测到的区域。
• 为机器人、虚拟现实和场景编辑应用提供更准确且语义有意义的场景理解。
• 通过联合学习物体几何补全与实例定位，提升 3D 检测与实例分割性能。
• 开发一种可扩展的全卷积架构，实现在单次前向传播中处理大规模室内场景。

提出的方法

• 使用统一的 3D CNN 主干网络，同时处理 RGB 图像和 TSDF（截断符号距离场）几何表示。
• 通过每个实例的体素占据掩码，实现 3D 检测框、类别标签和完整物体几何形状的端到端预测。
• 利用颜色与几何特征的联合学习，提升检测与补全的准确性。
• 引入几何补全代理损失，以监督完整物体形状的预测。
• 采用全卷积设计，实现在大规模密集体网格上的高效推理。
• 使用 Scan2CAD 注释在合成数据和真实扫描数据上进行训练，为物体级补全提供真实标签。

实验结果

研究问题

• RQ1 统一的深度学习模型能否从部分 RGB-D 扫描中联合检测 3D 物体实例并预测其完整几何形状？
• RQ2 预测完整物体几何形状是否能提升 3D 实例检测与分割的性能？
• RQ3 与解耦方法相比，检测与补全的联合学习在多大程度上更有效？
• RQ4 融合颜色信息在多大程度上提升了语义实例补全的准确性？
• RQ5 全局几何补全代理损失在多大程度上影响了预测完整物体形状的质量？

主要发现

• 在真实世界 ScanNet 基准上，RevealNet 在语义实例补全任务中相比最先进方法实现 15.8 mAP@0.5 的性能提升。
• 在合成的 SUNCG 数据集上，RevealNet 相比现有方法提升 18.5 mAP@0.5，展现出强大的泛化能力。
• 引入颜色输入在真实与合成扫描中均提升了补全性能，表明多模态特征学习具有显著价值。
• 几何补全代理损失显著提升了预测完整物体形状的质量，从而改善了下游检测与分割性能。
• 预测完整物体几何形状显著提升了 3D 实例分割与检测性能，表明补全过程可有效支持检测任务。
• 全卷积设计实现了大规模 3D 扫描的高效单次前向推理，使该方法适用于真实场景的可扩展部署。