[论文解读] Reliving the Dataset: Combining the Visualization of Road Users' Interactions with Scenario Reconstruction in Virtual Reality

Lars Töttel, Maximilian Zipfl+3 more|arXiv (Cornell University)|May 4, 2021

Autonomous Vehicle Technology and Safety参考文献 27被引用 7

一句话总结

本文提出一种双方法分析自然驾驶数据集的方法：首先，利用语义场景图和临界性度量（如TTC、RSS、SFF）客观检测安全关键场景；其次，将这些场景在高保真虚拟现实（VR）环境中重建，以实现沉浸式、基于视角的主观分析。其主要贡献在于提出了一种新颖的集成框架，可同时实现对极端情况的自动化检测以及从多个驾驶员视角对场景动态的深度、交互式探索。

ABSTRACT

One core challenge in the development of automated vehicles is their capability to deal with a multitude of complex trafficscenarios with many, hard to predict traffic participants. As part of the iterative development process, it is necessary to detect criticalscenarios and generate knowledge from them to improve the highly automated driving (HAD) function. In order to tackle this challenge,numerous datasets have been released in the past years, which act as the basis for the development and testing of such algorithms.Nevertheless, the remaining challenges are to find relevant scenes, such as safety-critical corner cases, in these datasets and tounderstand them completely.Therefore, this paper presents a methodology to process and analyze naturalistic motion datasets in two ways: On the one hand, ourapproach maps scenes of the datasets to a generic semantic scene graph which allows for a high-level and objective analysis. Here,arbitrary criticality measures, e.g. TTC, RSS or SFF, can be set to automatically detect critical scenarios between traffic participants.On the other hand, the scenarios are recreated in a realistic virtual reality (VR) environment, which allows for a subjective close-upanalysis from multiple, interactive perspectives.

研究动机与目标

• 为解决在大规模自然驾驶数据集中识别罕见、安全关键的极端情况的挑战。
• 克服在三维空间中可视化交通参与者之间复杂时空交互关系的局限性。
• 实现关键场景的客观、度量驱动检测与主观、沉浸式从驾驶员视角的分析。
• 弥合自动化数据分析与人机协同场景理解之间的差距，以支持HAD系统开发。
• 提供一种模块化、可复用的处理流程，适用于TAF-BW、nuScenes和INTERACTION等多样化数据集。

提出的方法

• 将自然驾驶运动数据集映射到通用语义场景图，以实现对交通交互行为的高层级、客观分析。
• 在语义场景图中应用多种临界性度量（TTC、RSS和SFF），自动标记安全关键场景。
• 利用真实车辆轨迹和高清地图，在高保真仿真环境中重建检测到的关键场景。
• 将仿真环境与VR界面集成，使用户能够从任意视角探索场景，包括涉事车辆的驾驶员座位视角。
• 在VR中实现完整的时间控制（播放、暂停、倒放、快进），以支持对场景的详细主观检查。
• 采用模块化架构，支持对在线数据流的扩展，并可未来与智能基础设施或自动驾驶车辆数据集成。

实验结果

研究问题

• RQ1 如何利用客观度量在大规模、复杂的自然驾驶数据集中自动检测关键交通场景？
• RQ2 与静态2D可视化相比，沉浸式VR可视化在多大程度上提升了对交通交互行为的理解？
• RQ3 客观分析与主观VR探索的结合，是否能够提升对自动驾驶系统中极端情况的识别与解释能力？
• RQ4 如何有效结合多种临界性度量（TTC、RSS、SFF）以提高检测准确性和场景相关性？
• RQ5 在高保真VR环境中重建真实交通场景，对HAD系统开发有何附加价值？

主要发现

• 客观分析模块成功识别出一个涉及两辆平行靠近行驶车辆的临界场景，其中一辆车辆轻微偏离至相邻车道。
• VR重建使用户能够从两辆涉事车辆的驾驶员视角体验该场景，揭示了潜在的盲区问题和传感器噪声影响。
• 沉浸式VR使用户能够实时探索时空动态，包括时间倒放与快进，显著提升了情境感知能力。
• 该方法成功从TAF-BW数据集中检测并重建了一个极端情况，凸显了特斯拉Model 3与道奇Charger之间潜在的盲区场景。
• 客观度量（TTC、RSS、SFF）与VR可视化相结合，形成了一条全面的分析流水线，实现了自动化检测与以人为本的解读。
• 模块化设计支持扩展至在线数据流，以及未来涉及弱势道路使用者（如违规行人）的场景。