[论文解读] Towards Vehicle-to-everything Autonomous Driving: A Survey on Collaborative Perception

Si Liu, Chen Gao+9 more|arXiv (Cornell University)|Aug 31, 2023

Advanced Neural Network Applications被引用 18

一句话总结

本综述评估面向 V2X 自动驾驶的协同感知（CP），涵盖系统架构、数据集、CP 方法、在时延/噪声下的鲁棒性、带宽-精度权衡，以及从仿真到真实场景的泛化，并提供大量实验见解。

ABSTRACT

Vehicle-to-everything (V2X) autonomous driving opens up a promising direction for developing a new generation of intelligent transportation systems. Collaborative perception (CP) as an essential component to achieve V2X can overcome the inherent limitations of individual perception, including occlusion and long-range perception. In this survey, we provide a comprehensive review of CP methods for V2X scenarios, bringing a profound and in-depth understanding to the community. Specifically, we first introduce the architecture and workflow of typical V2X systems, which affords a broader perspective to understand the entire V2X system and the role of CP within it. Then, we thoroughly summarize and analyze existing V2X perception datasets and CP methods. Particularly, we introduce numerous CP methods from various crucial perspectives, including collaboration stages, roadside sensors placement, latency compensation, performance-bandwidth trade-off, attack/defense, pose alignment, etc. Moreover, we conduct extensive experimental analyses to compare and examine current CP methods, revealing some essential and unexplored insights. Specifically, we analyze the performance changes of different methods under different bandwidths, providing a deep insight into the performance-bandwidth trade-off issue. Also, we examine methods under different LiDAR ranges. To study the model robustness, we further investigate the effects of various simulated real-world noises on the performance of different CP methods, covering communication latency, lossy communication, localization errors, and mixed noises. In addition, we look into the sim-to-real generalization ability of existing CP methods. At last, we thoroughly discuss issues and challenges, highlighting promising directions for future efforts. Our codes for experimental analysis will be public at https://github.com/memberRE/Collaborative-Perception.

研究动机与目标

• 解释典型的 V2X 系统架构以及协同感知在其中的作用。
• 从多个角度（融合阶段、传感器布置、时延、鲁棒性等）对 CP 数据集与方法进行编目和分析。
• 通过在带宽、激光雷达覆盖范围、噪声和仿真到真实的泛化等方面的实验来评估 CP 方法。
• 识别 CP 在 V2X 中的公开问题、鲁棒性挑战，以及未来可能的方向。
• 提供可操作的洞见，以指导未来在 V2X 系统中进行 CP 研究与部署。

提出的方法

• 按照协作阶段（早期、中期、晚期融合）提出 CP 方法的分类法。
• 分析路边传感器的部署及其对 CP 性能的影响。
• 讨论时延补偿技术，并按融合阶段进行分类。
• 通过特征压缩和选择性传输评估协作效率与带宽-精度权衡。
• 总结数据集（仿真和真实世界）以及标准 CP 任务（3D 物体检测、语义分割）及其评估指标。
• 提供关于带宽、LiDAR 覆盖范围、噪声以及仿真到真实的泛化的广泛实验分析。

实验结果

研究问题

• RQ1 实际 V2X 系统的体系结构组件与工作流程是什么，以及 CP 在其中发挥的作用？
• RQ2 CP 方法在协作阶段、传感器布置和鲁棒性考量方面有何差异？
• RQ3 传输带宽、LiDAR 范围和现实世界噪声对 CP 性能有何影响，方法如何缓解这些问题？
• RQ4 CP 方法从仿真到现实场景的泛化程度如何，以及哪些关键开放挑战和未来方向？
• RQ5 在 V2X 的 CP 方面存在哪些数据集，以及它们如何支持对检测、跟踪和分割任务的评估？

主要发现

• 通过利用来自车辆和基础设施的 V2X 信息，CP 能克服遮挡和远距离感知的限制。
• 晚期融合在行业中目前占主导地位，原因是带宽要求较低，但可能带来精度和鲁棒性方面的损失。
• 实验分析揭示了性能与带宽权衡以及不同 LiDAR 范围对 CP 方法的影响的重要见解。
• 时延和通信丢包显著影响 CP 性能，提出了多种时延补偿策略（时序预测、时延感知模块和时间补偿）。
• 仿真到真实的泛化仍是关键挑战，相关研究评估了仿真与真实数据之间的跨域鲁棒性。
• 多样化的 CP 数据集（既有仿真也有真实世界）支持在 V2V 和 V2I 情况下的评估，强调在帧级需要更大规模的多智能体协作。