[论文解读] Panoptic 3D Scene Reconstruction From a Single RGB Image

Manuel Dahnert, Ji Hou+2 more|arXiv (Cornell University)|Nov 3, 2021

Advanced Vision and Imaging参考文献 39被引用 8

一句话总结

本文提出从单张RGB图像进行全景3D场景重建，将几何重建、3D语义分割与3D实例分割统一为一个整体任务。该方法通过深度引导的特征传播，将2D特征与实例预测提升至3D空间，通过联合优化几何、语义与实例识别，实现最先进的性能表现。

ABSTRACT

Understanding 3D scenes from a single image is fundamental to a wide variety of tasks, such as for robotics, motion planning, or augmented reality. Existing works in 3D perception from a single RGB image tend to focus on geometric reconstruction only, or geometric reconstruction with semantic segmentation or instance segmentation. Inspired by 2D panoptic segmentation, we propose to unify the tasks of geometric reconstruction, 3D semantic segmentation, and 3D instance segmentation into the task of panoptic 3D scene reconstruction - from a single RGB image, predicting the complete geometric reconstruction of the scene in the camera frustum of the image, along with semantic and instance segmentations. We thus propose a new approach for holistic 3D scene understanding from a single RGB image which learns to lift and propagate 2D features from an input image to a 3D volumetric scene representation. We demonstrate that this holistic view of joint scene reconstruction, semantic, and instance segmentation is beneficial over treating the tasks independently, thus outperforming alternative approaches.

研究动机与目标

• 将几何重建、3D语义分割与3D实例分割统一为一个整体任务，以实现从单张RGB图像出发的全景3D场景理解。
• 解决现有方法将重建与语义视为独立任务所导致的联合性能不佳的问题。
• 开发一种方法，利用高分辨率2D预测结果来引导并优化3D物体与场景理解。
• 提出一种新的全景3D重建评估范式，联合评估几何、语义标注与实例识别。
• 证明联合优化几何、语义与实例预测可显著提升性能，优于解耦方法。

提出的方法

• 使用2D卷积主干网络从单张RGB图像中提取特征，并预测深度、2D语义分割与2D实例分割。
• 利用预测的深度将2D特征提升至3D体素表示，通过反投影将特征映射至相机视锥空间。
• 应用实例传播技术，将2D实例预测转移至3D空间，将其作为3D物体优化与聚类的种子。
• 采用自粗到精的分层预测策略，以提升3D几何与语义的定位精度与优化效果。
• 使用基于3D聚类的实例头，将彼此距离在2厘米以内的表面点聚类为3D实例簇，并根据3D语义概率分配语义标签与置信度分数。
• 在训练过程中联合优化重建损失、语义分割损失与实例识别损失，实现端到端的整体任务学习。

实验结果

研究问题

• RQ1 能否设计一个统一框架，实现从单张RGB图像出发的3D场景重建、语义分割与实例分割，并超越解耦方法？
• RQ2 与直接3D预测相比，2D到3D的实例传播在提升3D物体识别与几何重建方面的有效性如何？
• RQ3 自粗到精的分层预测策略对3D场景重建与实例分割精度的影响如何？
• RQ4 在存在遮挡与噪声的情况下，2D高分辨率信号的引入如何提升3D全景性能？
• RQ5 与独立训练相比，几何、语义与实例预测的联合优化在多大程度上提升了整体场景理解能力？

主要发现

• 所提方法在'全部'类别上达到44.58的全景重建质量（PRQ），显著优于基线方法，如Mesh R-CNN（'物体'类为35.76）与SSCNet（'全部'类为15.88）。
• 在使用真实深度的情况下，方法在'背景'类别上达到73.43的PRQ，在'物体'类别上达到38.17，展现出在结构与物体级语义上的强大性能。
• 消融实验表明，若移除实例传播（Ours w/o IP），性能显著下降，证实其在准确3D实例识别中的关键作用。
• 自粗到精的分层预测策略通过实现更早且更精确的场景结构定位，提升了整体性能。
• 该方法优于将重建与语义分离处理的替代方案，证明了联合优化在全景3D场景理解中的优势。
• 定性结果表明，与Mesh R-CNN相比，本方法在遮挡或复杂区域中实现了更优的物体几何形状与实例分离效果。