[论文解读] Semantic Scene Completion from a Single Depth Image

Shuran Song, Fisher Yu+4 more|arXiv (Cornell University)|Nov 28, 2016

Advanced Vision and Imaging参考文献 14被引用 42

一句话总结

本文提出SSCNet，一种端到端的3D卷积神经网络，通过利用耦合的占用率与语义信息，从单张深度图像中联合执行语义场景补全与语义标注。该方法采用基于空洞的3D上下文模块以扩展感受野，并引入SUNCG数据集——一个具有密集体素标注的合成大规模3D场景数据集，证明联合学习相较于独立方法能提升性能。

ABSTRACT

This paper focuses on semantic scene completion, a task for producing a complete 3D voxel representation of volumetric occupancy and semantic labels for a scene from a single-view depth map observation. Previous work has considered scene completion and semantic labeling of depth maps separately. However, we observe that these two problems are tightly intertwined. To leverage the coupled nature of these two tasks, we introduce the semantic scene completion network (SSCNet), an end-to-end 3D convolutional network that takes a single depth image as input and simultaneously outputs occupancy and semantic labels for all voxels in the camera view frustum. Our network uses a dilation-based 3D context module to efficiently expand the receptive field and enable 3D context learning. To train our network, we construct SUNCG - a manually created large-scale dataset of synthetic 3D scenes with dense volumetric annotations. Our experiments demonstrate that the joint model outperforms methods addressing each task in isolation and outperforms alternative approaches on the semantic scene completion task.

研究动机与目标

• 为解决先前工作将场景补全与语义标注视为独立任务的局限性，本文旨在从单张深度图中联合预测体素占用率与物体类别。
• 通过利用物体语义与空间占用模式之间的强耦合关系，提升3D场景理解能力。
• 开发一种深度学习模型，能够推断可见表面之外的完整3D场景结构，包括被遮挡区域。
• 构建一个大规模、逼真的合成数据集，包含密集体素标注，以支持联合场景补全与语义标注模型的训练与评估。

提出的方法

• SSCNet是一种端到端的3D卷积网络，以单张深度图像为输入，输出相机视锥范围内所有体素的占用率与语义标签。
• 该网络采用基于3D空洞的上下文模块，以高效扩展感受野，从而有效建模长程3D空间上下文。
• 模型使用一种新型大规模合成数据集SUNCG进行训练，该数据集包含超过45,000个具有密集体素标注的3D室内场景。
• SUNCG由人工设计的3D场景构成，其中包含单独标注的3D物体网格，经体素化处理后生成带有语义标签的密集3D场景体素。
• 网络在占用率预测与语义标注两个任务上均采用联合监督，实现两者的相互监督。
• 该架构被优化以处理稀疏3D数据，并在体积分空间中保持高分辨率特征学习。

实验结果

研究问题

• RQ1 从单张深度图像中联合预测体素占用率与语义标签，是否能优于分别处理各任务的方法？
• RQ2 3D空洞上下文模块在捕捉场景补全与语义标注的长程空间依赖关系方面效果如何？
• RQ3 大规模合成数据集若具备密集体素标注，能在多大程度上提升语义场景补全的性能？
• RQ4 周围物体（如桌子、地板）提供的上下文线索，如何改善对部分可见物体（如椅子）的识别与补全？

主要发现

• 联合训练的SSCNet模型优于分别执行场景补全与语义标注的方法，证明了耦合学习的优势。
• 采用基于3D空洞的上下文模块显著提升了性能，同时在不显著增加参数量的前提下实现了大感受野。
• SUNCG数据集包含超过45,600个合成3D场景与84种物体类别，为体积分场景理解提供了丰富、多样且逼真的训练数据。
• SUNCG数据集中每个房间平均包含超过14个物体，为学习上下文关系提供了充足的上下文信息。
• 该模型在场景补全与语义标注两方面均取得优越性能，误差可视化显示在遮挡区域的误报与漏报显著减少。
• 即使仅可见部分深度信息，网络仍能成功预测出如床和椅子等物体的完整3D形状与语义标签。