[论文解读] Semantic Scene Completion Combining Colour and Depth: preliminary experiments

Andre Bernardes Soares Guedes, Teófilo de Campos+1 more|arXiv (Cornell University)|Feb 13, 2018

Advanced Vision and Imaging参考文献 11被引用 20

一句话总结

本文通过在SSCNet架构中采用早期和中级特征融合策略，将RGB与深度数据融合，以增强语义场景补全（SSC）。尽管引入了颜色信息，但在NYU Depth v2数据集上的实验表明，其性能并未优于原始的仅使用深度的SSCNet，补全任务的峰值IoU为56.6%，语义标注任务的峰值为30.5%，表明当前的融合方法在此设置下未能有效利用RGB信息。

ABSTRACT

Semantic scene completion is the task of producing a complete 3D voxel representation of volumetric occupancy with semantic labels for a scene from a single-view observation. We built upon the recent work of Song et al. (CVPR 2017), who proposed SSCnet, a method that performs scene completion and semantic labelling in a single end-to-end 3D convolutional network. SSCnet uses only depth maps as input, even though depth maps are usually obtained from devices that also capture colour information, such as RGBD sensors and stereo cameras. In this work, we investigate the potential of the RGB colour channels to improve SSCnet.

研究动机与目标

• 探究在3D语义场景补全任务中，引入RGB颜色信息是否能超越仅使用深度信息的方法。
• 评估在3D卷积神经网络架构中，通过早期和中级特征融合策略结合RGB与深度特征的性能。
• 评估在包含12类物体的NYU Depth v2数据集上，颜色信息是否能提升场景补全与语义标注的性能。
• 确定性能未提升的原因是否源于次优的融合技术、数据集特性，或深度几何结构中固有的冗余性。

提出的方法

• 提出了一种改进的SSCNet架构，可同时接收fTSDF编码的深度数据与归一化的RGB体素表示作为输入。
• 将RGB值编码为3D体素网格，对遮挡或空置区域赋予-1值，以保持与深度几何的空间对齐。
• 实现了两种融合策略：早期融合（在输入层拼接RGB与深度特征）和中级融合（在初始卷积层之后拼接特征）。
• 采用四种优化策略进行模型训练：随机初始化、特征学习（冻结原始SSCNet权重）、微调（以较低速率学习所有权重）以及网络手术（部分初始化输入层权重）。
• 使用交叉熵损失函数并配合Softmax输出进行体素级语义标注，通过所有测试体素和类别的交并比（IoU）评估性能。
• 采用binvox体素化方法对3D模型进行真实标签标注，并使用包含12个语义类别的NYU Depth v2数据集。

实验结果

研究问题

• RQ1 与仅使用深度输入的SSCNet相比，添加RGB颜色信息是否能提升语义场景补全性能？
• RQ2 在3D场景补全任务中，早期与中级特征融合策略在结合RGB与深度特征方面表现如何比较？
• RQ3 为何所提出的RGB增强模型在NYU Depth v2数据集上未能超越原始的仅使用深度的SSCNet？
• RQ4 无约束微调或受限特征学习策略是否能提升RGB-深度融合模型的泛化能力并防止过拟合？
• RQ5 性能未提升的原因是否源于数据集的标签集合、场景复杂度，或深度几何结构中固有的冗余性？

主要发现

• 所提出的RGB增强模型在NYU Depth v2数据集上未超越原始仅使用深度的SSCNet性能。
• 最佳结果为场景补全的IoU达到56.6%，语义标注的IoU为30.5%，与原始SSCNet性能一致。
• 仅使用颜色的网络在训练过程中损失单调上升，但未能收敛到具有竞争力的性能。
• 无约束微调策略比受限方法更快降低损失函数，但导致过拟合，测试IoU在1000轮后开始下降。
• 在不同训练策略（特征学习、微调、网络手术）之间未观察到显著性能差异，表明权重调整带来的收益有限。
• 结果表明，fTSDF编码的深度特征可能已具备高度判别性，且当前的融合方法未能有效利用RGB信息在此上下文中。