[论文解读] Structured3D: A Large Photo-realistic Dataset for Structured 3D Modeling

Jia Zheng, Junfei Zhang+4 more|arXiv (Cornell University)|Aug 1, 2019

Advanced Vision and Imaging参考文献 43被引用 26

一句话总结

本文介绍了Structured3D，这是一个大规模的合成数据集，包含196,515张逼真的室内图像，并配有丰富的3D结构注释，包括几何原始体及其关系。该数据集通过增强真实数据并促进域自适应，提升了房间布局估计的性能，使用合成数据训练的深度学习模型在基准数据集上实现了最先进结果。

ABSTRACT

Recently, there has been growing interest in developing learning-based methods to detect and utilize salient semi-global or global structures, such as junctions, lines, planes, cuboids, smooth surfaces, and all types of symmetries, for 3D scene modeling and understanding. However, the ground truth annotations are often obtained via human labor, which is particularly challenging and inefficient for such tasks due to the large number of 3D structure instances (e.g., line segments) and other factors such as viewpoints and occlusions. In this paper, we present a new synthetic dataset, Structured3D, with the aim of providing large-scale photo-realistic images with rich 3D structure annotations for a wide spectrum of structured 3D modeling tasks. We take advantage of the availability of professional interior designs and automatically extract 3D structures from them. We generate high-quality images with an industry-leading rendering engine. We use our synthetic dataset in combination with real images to train deep networks for room layout estimation and demonstrate improved performance on benchmark datasets.

研究动机与目标

• 为解决现有数据集中真实世界3D结构注释稀缺且不一致的问题，该问题限制了基于学习的鲁棒3D建模方法的发展。
• 创建一个大规模、逼真的数据集，配备准确、自动生成的3D结构注释，以支持结构化3D建模任务。
• 通过使用合成数据训练深度神经网络，实现对房间布局估计的有效训练，且模型在真实世界数据上具有良好的泛化能力。
• 探索多模态注释（例如布局和深度）在3D场景理解中提升域自适应性能的应用。
• 通过几何原始体和关系的统一表示，支持多样化的结构化3D建模任务。

提出的方法

• 利用专业室内设计文件和高保真3D物体模型，自动提取3D结构注释，包括几何原始体及其空间关系。
• 使用行业领先的渲染引擎，从3D场景几何生成逼真的2D图像，确保视觉保真度。
• 定义统一的“原始体 + 关系”表示方式，以一致且可扩展的方式编码多样的3D结构，如线框、长方体、平面和对称性。
• 结合合成的Structured3D数据与真实数据（如PanoContext、2D-3D-S）联合训练深度学习模型（如LayoutNet、HorizonNet），以提升泛化能力。
• 通过判别器网络应用域自适应技术，对齐合成域与真实域之间的特征分布，同时结合布局和深度预测以提升对齐效果。
• 通过添加深度预测头实现多模态监督，借助联合优化提升域自适应性能。

实验结果

研究问题

• RQ1 大规模合成数据集若配备准确、自动生成的3D结构注释，是否能提升深度学习模型在房间布局估计中的性能？
• RQ2 多模态注释（如布局和深度）的引入在3D场景理解的域自适应性能中产生何种影响？
• RQ3 Structured3D中的合成数据在多大程度上能缩小合成数据与真实世界数据在3D布局估计中的性能差距？
• RQ4 统一的“原始体 + 关系”表示方式是否相比现有数据集，能实现更高效且可扩展的多样化3D结构标注？
• RQ5 合成训练数据的规模如何影响在真实世界基准上的最终性能？

主要发现

• 使用Structured3D中的10,000张合成图像增强PanoContext和2D-3D-S等真实数据集后，LayoutNet的3D IoU提升1.5%，交叉熵（CE）降低0.07。
• 使用10,000张合成图像进行预训练，使PanoContext上的3D IoU从83.81%提升至84.77%，2D-3D-S上的3D IoU从57.18%提升至84.04%，表明数据规模具有显著优势。
• 结合布局与深度监督的域自适应方法（+Depth）使PanoContext上的3D IoU从非自适应的75.64%提升至78.34%，证明了多模态注释的价值。
• 真实数据基线（Real）在PanoContext上达到81.76%的3D IoU，而+Depth域自适应方法达到78.34%，表明合成数据具有强大的泛化能力。
• 该数据集通过原始设计文件生成真实标签，避免了真实数据集中常见的标注错误（如将非长方体房间错误标注为长方体布局）。
• 性能随合成数据规模增加而提升，10,000张图像时达到最佳效果，表明数据集具备可扩展性与数据效率。