[论文解读] Synscapes: A Photorealistic Synthetic Dataset for Street Scene Parsing

Magnus Wrenninge, Jonas Unger|arXiv (Cornell University)|Oct 19, 2018

Advanced Vision and Imaging参考文献 5被引用 144

一句话总结

Synscapes 是一个用于街景解析的照片级真实感合成数据集，采用无偏光路追踪和广泛、去相关的情景变差；本文分析合成到真实的迁移、测试/验证用途，以及基于数据集的细粒度模型分析。

ABSTRACT

We introduce Synscapes -- a synthetic dataset for street scene parsing created using photorealistic rendering techniques, and show state-of-the-art results for training and validation as well as new types of analysis. We study the behavior of networks trained on real data when performing inference on synthetic data: a key factor in determining the equivalence of simulation environments. We also compare the behavior of networks trained on synthetic data and evaluated on real-world data. Additionally, by analyzing pre-trained, existing segmentation and detection models, we illustrate how uncorrelated images along with a detailed set of annotations open up new avenues for analysis of computer vision systems, providing fine-grain information about how a model's performance changes according to factors such as distance, occlusion and relative object orientation.

研究动机与目标

• 证明高度照片级真实的合成数据可用于训练和验证街景感知模型。
• 提供一个过程生成的数据集，具有完全去相关的场景参数和丰富元数据，便于对模型行为进行受控分析。
• 将合成数据的性能与现实世界数据以及其他合成数据集进行比较。
• 展示合成数据如何促进对距离、遮挡和朝向等因素对模型性能的细粒度分析。

提出的方法

• 使用无偏光路追踪，对完整传感器、光学和相机管线进行仿真，渲染 25,000 张唯一的 RGB 图像（1440x720；可用 2048x1024）。
• 从去相关的情景参数（如车辆、行人、天气、一天中的时间）过程生成每个场景，以确保广泛变异。
• 提供类别、实例和深度注释，以及描述场景、相机和实例的 JSON 元数据。
• 使用在 Cityscapes 上预训练的 FRRN 和 DeepLab v3+ 评估语义分割，测试在 Synscapes 和其他合成数据集上的跨域性能。
• 进行对象检测实验，使用 Faster R-CNN (ResNet-101) 和 KITTI/GTA 基线，包括跨域训练/微调场景。
• 通过可视化脚本和元数据驱动的切片来分析数据集对模型性能的影响，以研究朝向、遮挡和场景参数对模型性能的影响。

实验结果

研究问题

• RQ1 一个照片级真实的合成数据集在用于验证分割和检测模型时，与现实世界数据相比有何差异？
• RQ2 合成数据能否作为有效的训练材料，且在与真实数据进行微调时，合成预训练的影响如何？
• RQ3 哪些细粒度因素（朝向、距离、遮挡、照明）影响模型性能，Synscapes 的元数据能否阐明这些影响？

主要发现

• 在 Cityscapes 上训练的 DeepLab 和 FRRN 在 Synscapes 上表现最佳，表明相对其他合成数据集，Synscapes 的领域差异较小。
• 在 Synscapes 上自验证的 Cityscapes 模型的自验证分数比 Richter（63%）或 Synthia（57%）更高（87%）。
• 在某些设置中，使用 Synscapes + KITTI 进行微调的 Faster R-CNN 相对仅使用 KITTI 达到更高的 mAP（约 0.902 mAP），体现了合成数据的跨域收益。
• 基于 Synscapes 的训练结合 Cityscapes 能带来显著的 per-class 提升，并覆盖 Cityscapes 的 19 个类别。
• 对象检测和分割的性能会随运动模糊（ego_speed）和日照高度等因素下降，对不同类别和距离有具体影响。
• 使用 Synscapes 与 Cityscapes 相结合，可以降低领域差异并比其他合成数据集（GTA/Richter、Synthia）更有利于迁移学习。