[论文解读] Procedural Modeling and Physically Based Rendering for Synthetic Data Generation in Automotive Applications

Apostolia Tsirikoglou, Joel Kronander+2 more|arXiv (Cornell University)|Oct 17, 2017

Computer Graphics and Visualization Techniques参考文献 7被引用 38

一句话总结

本文提出了一种用于自动驾驶应用的程序化、基于物理的合成数据生成流水线，结合程序化世界建模与路径追踪渲染，生成高度逼真、像素级精确标注的图像。该方法仅使用合成数据即在语义分割任务中达到最先进性能，优于SYNTHIA和Richter等人等现有数据集，且无需在真实数据上进行微调。

ABSTRACT

We present an overview and evaluation of a new, systematic approach for generation of highly realistic, annotated synthetic data for training of deep neural networks in computer vision tasks. The main contribution is a procedural world modeling approach enabling high variability coupled with physically accurate image synthesis, and is a departure from the hand-modeled virtual worlds and approximate image synthesis methods used in real-time applications. The benefits of our approach include flexible, physically accurate and scalable image synthesis, implicit wide coverage of classes and features, and complete data introspection for annotations, which all contribute to quality and cost efficiency. To evaluate our approach and the efficacy of the resulting data, we use semantic segmentation for autonomous vehicles and robotic navigation as the main application, and we train multiple deep learning architectures using synthetic data with and without fine tuning on organic (i.e. real-world) data. The evaluation shows that our approach improves the neural network's performance and that even modest implementation efforts produce state-of-the-art results.

研究动机与目标

• 为解决自动驾驶深度神经网络训练中数据稀缺与域偏移的关键瓶颈问题。
• 开发一种可扩展的、逼真的合成数据生成流水线，其视觉保真度和标注质量超越基于手工建模游戏引擎的数据集。
• 评估仅依靠高保真度和程序化多样性的合成数据是否足以实现语义分割的最先进性能。
• 证明具有物理精确渲染和完整标注可透视性的合成数据可消除或减少对真实世界数据微调的依赖。
• 分析程序化变化与物理真实感对模型泛化能力和性能的影响。

提出的方法

• 该系统使用程序化世界生成技术，自动为每张图像合成独特的3D场景，通过参数化空间动态变化几何结构、材质、光照和物体布局。
• 采用路径追踪结合蒙特卡洛光传输模拟，实现物理精确的图像合成，包括运动模糊和抗锯齿等效果。
• 材质和表面属性采用基于物理的表示方法，确保逼真的光相互作用与色彩响应。
• 流水线集成传感器建模（如镜头效应、景深），以模拟真实相机行为，生成逼真图像。
• 每张生成的图像均附带像素级真实标签（语义分割与实例分割），支持完整可透视性与数据质量控制。
• 整个流程通过云环境计算实现可扩展性，可生成数十万至数百万张多样化且带标注的图像。

实验结果

研究问题

• RQ1 通过程序化世界建模与路径追踪生成的合成数据集，是否可在不使用任何真实世界数据微调的情况下实现语义分割的最先进性能？
• RQ2 光传输模拟与材质建模的真实性在多大程度上影响深度神经网络的泛化能力与性能？
• RQ3 与固定世界的游戏引擎数据集相比，场景生成中的程序化多样性在多大程度上减少了域偏移？
• RQ4 当单独用于训练时，合成数据的质量与真实世界数据集相比如何？
• RQ5 高保真渲染的计算成本与模型推理精度提升之间存在何种权衡？

主要发现

• 所提出的合成数据集仅使用合成数据即在语义分割基准上达到最先进性能，优于SYNTHIA和Richter等人等现有数据集，且无需微调。
• 在DFCN前端架构上，该方法在16个类别中的10个类别上IoU超过40%，尤其在道路、人行道、建筑物和行人分割上取得显著提升。
• 在FRRN-A架构上，该方法在16个类别中的7个类别上IoU达到至少40%，在天空、行人和车辆分割上表现突出，而SYNTHIA和Richter等人数据集在10个类别上IoU低于40%。
• 即使在训练中未包含任何墙体或围栏的样本，基于该合成数据训练的模型仍能良好泛化到这些类别，表明其从逼真外观与光照中获得的强大泛化能力。
• 使用Cityscapes真实数据进行微调可进一步提升性能，但仅使用合成数据的基线模型已超越现有合成基线，凸显了真实感与程序化多样性的价值。
• 作者估计其数据集创建工作量仅为Richter等人方法的3至4个数量级，但性能更优，凸显了该方法的高效性。