[论文解读] V2X-Sim: Multi-Agent Collaborative Perception Dataset and Benchmark for Autonomous Driving

Yiming Li, Dekun Ma+5 more|arXiv (Cornell University)|Feb 17, 2022

Video Surveillance and Tracking Methods被引用 8

一句话总结

本文介绍了 V2X-Sim，一个公开的、模拟的多智能体协同感知数据集，用于自动驾驶，结合 CARLA 和 SUMO 生成来自车辆和路边单元（RSUs）的同步多模态传感器数据。该数据集支持在目标检测、目标跟踪和语义分割任务中对协同感知进行基准测试，结果显示 V2V 和 V2I 协作在遮挡或远距离场景中显著提升了性能。

ABSTRACT

Vehicle-to-everything (V2X) communication techniques enable the collaboration between vehicles and many other entities in the neighboring environment, which could fundamentally improve the perception system for autonomous driving. However, the lack of a public dataset significantly restricts the research progress of collaborative perception. To fill this gap, we present V2X-Sim, a comprehensive simulated multi-agent perception dataset for V2X-aided autonomous driving. V2X-Sim provides: (1) \hl{multi-agent} sensor recordings from the road-side unit (RSU) and multiple vehicles that enable collaborative perception, (2) multi-modality sensor streams that facilitate multi-modality perception, and (3) diverse ground truths that support various perception tasks. Meanwhile, we build an open-source testbed and provide a benchmark for the state-of-the-art collaborative perception algorithms on three tasks, including detection, tracking and segmentation. V2X-Sim seeks to stimulate collaborative perception research for autonomous driving before realistic datasets become widely available. Our dataset and code are available at \url{https://ai4ce.github.io/V2X-Sim/}.

研究动机与目标

• 解决 V2X 辅助自动驾驶中缺乏公开、全面的多智能体协同感知数据集的问题。
• 通过在真实交通场景中提供来自车辆和 RSUs 的同步多模态传感器数据，支持协同感知研究。
• 支持多种感知任务，包括鸟瞰图（BEV）下的 3D 目标检测、多目标跟踪和语义分割。
• 在目标检测、目标跟踪和语义分割任务中，为最先进协同感知算法建立基准。
• 通过提供多样化的评估协议，促进通信辅助感知研究，打造标准化测试平台。

提出的方法

• 使用 SUMO 进行真实感微观交通仿真，使用 CARLA 进行高保真自动驾驶车辆仿真，并实现传感器流的同步。
• 收集来自多辆汽车和一个中心 RSU 的多模态传感器数据，包括 RGB、LiDAR、深度、IMU 和 GPS。
• 生成多样化的真实标签：BEV 下的 3D 框、目标轨迹以及 7 个类别的语义标签。
• 通过中间特征和特征级融合策略（如 V2VNet、DiscoNet、When2com、Who2com）实现协同感知工作流。
• 开发一个基准框架，采用标准化评估指标：检测任务使用 mAP，跟踪任务使用 MOTA/HOTA，分割任务使用 mIoU。
• 通过在传输特征上使用 1×1 自编码器进行姿态噪声和带宽压缩测试，引入鲁棒性评估。

实验结果

研究问题

• RQ1 在遮挡或远距离场景中，使用 V2V 和 V2I 通信的协同感知在目标检测性能上有多大的提升？
• RQ2 在协同设置下，不同特征融合策略（如基于注意力与基于几何的方法）对多目标跟踪精度的影响程度如何？
• RQ3 V2V 和 V2I 的联合协作能否显著提升对车辆和行人等关键安全类别在语义分割中的性能？
• RQ4 协同感知模型在 V2X 系统中对真实姿态误差和有限通信带宽的鲁棒性如何？
• RQ5 在多智能体感知任务中，下界（单个感知）与上界（完全协作）之间的性能差距有多大？

主要发现

• 上界模型在车辆分割任务中达到 64.09% 的 mIoU，行人分割任务中达到 31.54%，显著优于下界（分别为 45.93% 和 20.59%），证明了协作的价值。
• V2I 集成在多目标跟踪中大幅提升了 MOTA，但对 MOTP 影响有限，表明跟踪质量更高，但定位精度未显著改善。
• 基于注意力的方法（如 When2com、Who2com）表现不佳，原因在于协作选择存在错位——互补视角比高相关性视角更有价值。
• Co-lower-bound 在分割任务中优于标准下界，表明即使部分协作也能显著提升感知性能，优于单智能体操作。
• 模型对姿态噪声（0.05–0.25m）和带宽压缩（通过 1×1 自编码器实现）保持鲁棒，压缩下性能稳定或略有提升。
• V2V 和 V2I 的联合使用在分割和检测任务中均带来一致性能增益，尤其对遮挡或远距离目标效果显著。