[论文解读] The ParallelEye Dataset: Constructing Large-Scale Artificial Scenes for Traffic Vision Research

Xuan Li, Kunfeng Wang+3 more|arXiv (Cornell University)|Dec 22, 2017

Remote Sensing and LiDAR Applications参考文献 22被引用 9

一句话总结

本论文提出 ParallelEye 数据集，这是一个利用街道路网数据、计算机图形学和基于规则的建模在 Unity3D 中生成的大规模、逼真的虚拟城市交通场景。该流水线可实现语义分割、实例分割、边界框、跟踪、光流和深度等任务的自动化、高保真度标注，渲染速度达 8–12 fps，在受控光照与天气条件下生成准确且多样的数据。

ABSTRACT

Video image datasets are playing an essential role in design and evaluation of traffic vision algorithms. Nevertheless, a longstanding inconvenience concerning image datasets is that manually collecting and annotating large-scale diversified datasets from real scenes is time-consuming and prone to error. For that virtual datasets have begun to function as a proxy of real datasets. In this paper, we propose to construct large-scale artificial scenes for traffic vision research and generate a new virtual dataset called "ParallelEye". First of all, the street map data is used to build 3D scene model of Zhongguancun Area, Beijing. Then, the computer graphics, virtual reality, and rule modeling technologies are utilized to synthesize large-scale, realistic virtual urban traffic scenes, in which the fidelity and geography match the real world well. Furthermore, the Unity3D platform is used to render the artificial scenes and generate accurate ground-truth labels, e.g., semantic/instance segmentation, object bounding box, object tracking, optical flow, and depth. The environmental conditions in artificial scenes can be controlled completely. As a result, we present a viable implementation pipeline for constructing large-scale artificial scenes for traffic vision research. The experimental results demonstrate that this pipeline is able to generate photorealistic virtual datasets with low modeling time and high accuracy labeling.

研究动机与目标

• 解决真实世界交通视觉数据集中人工标注成本高且不一致的问题。
• 开发可扩展的流水线，用于生成大规模、逼真的虚拟城市场景，其地理布局与真实世界一致，视觉保真度高。
• 在合成场景中实现多种任务特定标签（如边界框、分割、跟踪）的自动化、精确且多样的标注。
• 提供可重现、可控的环境，用于在不同环境条件下训练和评估交通视觉算法。
• 通过提供具有高多样性与精度的代理数据集，减少对真实世界数据采集与标注的依赖。

提出的方法

• 利用真实街道路网数据，基于北京中关村区域的精确地理布局，构建三维模型。
• 应用计算机图形学与虚拟现实技术，在 Unity3D 中渲染逼真的城市交通场景。
• 采用基于规则的建模方法，模拟真实的交通元素，包括车辆、行人以及动态环境条件。
• 配置虚拟摄像机（车载与监控型），支持调整位置、高度、朝向及运动轨迹，以捕捉多样视角。
• 动态调整光照条件（白天、黎明、黄昏）与天气状况（晴天、多云、雨天、雾天），以提升数据多样性。
• 利用 Unity3D 的渲染流水线，自动生成精确的真实标签，包括语义/实例分割、目标边界框、跟踪、光流与深度信息。

实验结果

研究问题

• RQ1 能否构建一个在地理与视觉保真度上高度匹配真实世界条件的合成大规模城市交通场景？
• RQ2 能否在虚拟环境中可靠地生成自动化、多任务的真实标签（如分割、边界框、跟踪）？
• RQ3 在不依赖真实世界数据采集的前提下，受控的环境变化（光照、天气）在多大程度上可增强数据多样性？
• RQ4 该流水线在生成逼真、带标注的虚拟数据集用于交通视觉研究方面，其效率与可扩展性如何？
• RQ5 所生成的合成数据集在复杂城市场景中能否有效支持视觉模型的训练与评估？

主要发现

• ParallelEye 数据集包含 31,000 幅图像帧，涵盖语义分割、实例分割、边界框、跟踪、光流与深度等多项任务的全自动、高精度标注。
• 数据集生成流水线在标准工作站上可实现 8–12 fps 的渲染速度，支持高效的大规模数据合成。
• 光照与天气等环境条件可动态调整，实现多样化的场景变化，无需重新采集或重新标注。
• 虚拟场景实现了高视觉保真度与地理准确性，与真实世界的城市布局和外观高度一致。
• 流水线支持灵活的摄像机配置（位置、高度、朝向），可模拟车载与监控摄像机视角。
• 该数据集可通过专用网站公开获取，支持未来在交通视觉与模型泛化研究中的应用。