[论文解读] Physically-Based Rendering for Indoor Scene Understanding Using Convolutional Neural Networks

Yinda Zhang, Shuran Song+5 more|arXiv (Cornell University)|Dec 22, 2016

Robotics and Sensor-Based Localization参考文献 22被引用 5

一句话总结

本文提出一个大规模的合成数据集，包含500,000张基于物理渲染的室内图像，源自45,000个3D场景，旨在提升室内场景理解能力。通过在该数据集上使用逼真的光照和渲染方式对卷积神经网络进行预训练，作者在微调真实数据后，于语义分割、表面法线预测和物体边界检测任务上取得了最先进性能。

ABSTRACT

Indoor scene understanding is central to applications such as robot navigation and human companion assistance. Over the last years, data-driven deep neural networks have outperformed many traditional approaches thanks to their representation learning capabilities. One of the bottlenecks in training for better representations is the amount of available per-pixel ground truth data that is required for core scene understanding tasks such as semantic segmentation, normal prediction, and object edge detection. To address this problem, a number of works proposed using synthetic data. However, a systematic study of how such synthetic data is generated is missing. In this work, we introduce a large-scale synthetic dataset with 400K physically-based rendered images from 45K realistic 3D indoor scenes. We study the effects of rendering methods and scene lighting on training for three computer vision tasks: surface normal prediction, semantic segmentation, and object boundary detection. This study provides insights into the best practices for training with synthetic data (more realistic rendering is worth it) and shows that pretraining with our new synthetic dataset can improve results beyond the current state of the art on all three tasks.

研究动机与目标

• 为解决室内场景理解任务中大规模、高质量像素级标注数据稀缺的问题。
• 探究渲染方法和光照条件对语义分割、法线预测和边界检测中深度学习性能的影响。
• 证明基于物理的渲染结合逼真光照可提升泛化能力与性能，超越现有最先进方法。
• 提供一个大规模、上下文丰富的合成数据集，包含密集像素级标注，用于模型训练与基准测试。
• 实现对物体上下文、光照条件和渲染质量在室内场景表征学习中影响的系统性研究。

提出的方法

• 作者使用基于物理的渲染管道，结合精确的光照与材质模型，从45,000个人工设计的3D室内场景中生成500,000张图像。
• 每个场景生成三张图像：一张使用OpenGL渲染（更简单，更不真实），两张使用基于物理的渲染（MLT-IL/OL），采用不同的光照配置。
• 每张图像均配有像素级标注：表面法线、语义分割标签和物体边界图。
• 使用ImageNet或RGB初始化在合成数据集上进行预训练，随后在NYUv2等真实世界基准数据集上进行微调。
• 研究对比了不同渲染技术（OpenGL vs. MLT）以及不同训练策略（仅在合成数据上预训练 vs. 仅在真实数据上训练）下的性能表现。
• 采用先前最先进方法中的网络架构（如基于VGG-16的边界检测模型、基于HHA的分割模型），并结合合成数据预训练进行适配。

实验结果

研究问题

• RQ1 基于物理的渲染结合逼真光照与更简单的渲染方法（如OpenGL）相比，在提升下游场景理解性能方面表现如何？
• RQ2 在上下文准确的室内场景中，使用合成数据进行预训练在语义分割、法线预测和边界检测任务上的性能提升程度如何？
• RQ3 物体上下文（在场景内 vs. 离开场景）和光照条件如何影响深度神经网络在室内场景理解中的泛化能力？
• RQ4 高保真渲染与密集标注的合成数据是否能超越仅使用真实数据训练的策略？
• RQ5 实现最先进结果的最佳渲染方法、光照条件与训练协议组合是什么？

主要发现

• 在新合成数据集上使用基于物理的渲染（MLT-IL/OL）进行预训练，使NYUv2语义分割任务的mIoU（平均交并比）达到33.2%，超越先前最先进水平。
• 在MLT渲染数据上预训练的模型在物体边界检测任务中取得0.725的OSD（F1值）和0.736的OIS，优于先前最先进方法。
• 使用MLT渲染的合成数据进行预训练，可减少纹理和背景区域的误报边缘，同时增强真实物体边界的识别，视觉对比结果清晰显示了这一点。
• 在MLT渲染数据上预训练显著提升了表面法线预测的准确性，最佳效果来自基于物理的光照与柔和阴影。
• 研究发现，逼真渲染（包括正确的阴影和材质反光）相比OpenGL渲染，能显著提升模型泛化能力。
• 即使没有深度监督，仅在合成数据集上预训练的模型性能仍优于仅在真实数据上微调的模型，证明了具有丰富视觉真实感的合成数据的价值。