[论文解读] nuReality: A VR environment for research of pedestrian and autonomous vehicle interactions

Paul Schmitt, Nicholas Britten+12 more|arXiv (Cornell University)|Jan 12, 2022

Video Surveillance and Tracking Methods被引用 5

一句话总结

nuReality 是一个开源的虚拟现实环境，旨在通过沉浸式、高保真的模拟，研究城市十字路口处行人与自动驾驶汽车（AV）的交互行为。该平台用于测试具有表现力的车辆行为（如灯光条、表现性减速和前倾动作），以改善意图传达。该平台支持在受控、安全且生态有效的条件下测试 AV 行为，从而提升行人信任度与安全性。

ABSTRACT

We present nuReality, a virtual reality 'VR' environment designed to test the efficacy of vehicular behaviors to communicate intent during interactions between autonomous vehicles 'AVs' and pedestrians at urban intersections. In this project we focus on expressive behaviors as a means for pedestrians to readily recognize the underlying intent of the AV's movements. VR is an ideal tool to use to test these situations as it can be immersive and place subjects into these potentially dangerous scenarios without risk. nuReality provides a novel and immersive virtual reality environment that includes numerous visual details (road and building texturing, parked cars, swaying tree limbs) as well as auditory details (birds chirping, cars honking in the distance, people talking). In these files we present the nuReality environment, its 10 unique vehicle behavior scenarios, and the Unreal Engine and Autodesk Maya source files for each scenario. The files are publicly released as open source at www.nuReality.org, to support the academic community studying the critical AV-pedestrian interaction.

研究动机与目标

• 为解决自动驾驶汽车（AV）与行人之间在城市十字路口有效沟通的关键挑战。
• 通过测试能清晰传达意图的具有表现力的 AV 行为，减少行人不确定性并提升安全性。
• 创建一个逼真、沉浸式的 VR 环境，以支持受控实验中高保真的人类行为反应。
• 为研究人员提供 Unreal Engine 和 Maya 资源的开源访问权限，以便扩展、修改和自定义场景。
• 支持更广泛的科研群体推进可读性强、直观且可信的 AV 与行人交互行为。

提出的方法

• 该环境以高保真视觉与听觉细节（如纹理道路、停靠车辆、摇曳树木、环境音效）建模为逼真的四向城市十字路口。
• 场景在 Autodesk Maya 中开发，并导入 Unreal Engine 以实现渲染与交互逻辑。
• 实施了十个不同的车辆行为场景，包括人类驾驶基线、AV 基线以及具有表现力的行为（灯光条、声音提示、前倾动作）。
• AV 模型配备激光雷达与雷达传感器，无可见乘员，且在外观上与人类驾驶车辆明显区分。
• VR 平台支持第一人称行人视角，使参与者能如同真实情境般体验交互。
• 通过沉浸式、可访问的 VR 技术，实现实验控制、可重复性与生态效度。

实验结果

研究问题

• RQ1 具有表现力的 AV 行为（如灯光条、声音提示、动作夸张）如何影响行人对车辆意图的感知？
• RQ2 非语言 AV 信号在多大程度上提升了行人在过街决策过程中的信心与安全性？
• RQ3 与人类驾驶模式不同的 AV 行为（如提前停车、前倾动作）在多大程度上影响了行人的信任度与反应时间？
• RQ4 基于 VR 的模拟能否有效复现真实世界中行人与 AV 交互的动力学特征以供研究使用？
• RQ5 不同组合的视觉与听觉提示在清晰且直观地传达 AV 意图方面表现如何？

主要发现

• nuReality 平台成功构建了一个高保真、沉浸式的 VR 环境，增强了空间幻觉与情境可信度，从而引发更真实的行人行为反应。
• 如表现性减速与灯光条动画等场景，基于动画原则（夸张、渐入/渐出）设计，以提升 AV 行为的直观感知。
• 测试了听觉提示（如夸张的刹车声与低转速发动机噪音）作为增强意图传达的方法。
• 实施了 AV 前倾动作（前部下探 1 英寸）并结合声音提示，以模仿人类的让行行为，提升意图传达的感知真实性。
• 该平台使研究人员能够以高度的实验控制与可重复性测试并比较不同行为变体。
• Unreal Engine 与 Maya 源文件的开源发布，使社区能够针对多样化的城市环境与文化背景扩展和改编场景。