[论文解读] Vision-Centric BEV Perception: A Survey

Yuexin Ma, Tai Wang+8 more|arXiv (Cornell University)|Aug 4, 2022

Infrared Target Detection Methodologies被引用 45

一句话总结

本综述评估以视觉为中心的 BEV 感知方法，按 PV-BEV 视图变换技术（homography、基于深度、MLP 及 transformer 基于）的分类，并讨论数据集、指标和扩展。

ABSTRACT

In recent years, vision-centric Bird's Eye View (BEV) perception has garnered significant interest from both industry and academia due to its inherent advantages, such as providing an intuitive representation of the world and being conducive to data fusion. The rapid advancements in deep learning have led to the proposal of numerous methods for addressing vision-centric BEV perception challenges. However, there has been no recent survey encompassing this novel and burgeoning research field. To catalyze future research, this paper presents a comprehensive survey of the latest developments in vision-centric BEV perception and its extensions. It compiles and organizes up-to-date knowledge, offering a systematic review and summary of prevalent algorithms. Additionally, the paper provides in-depth analyses and comparative results on various BEV perception tasks, facilitating the evaluation of future works and sparking new research directions. Furthermore, the paper discusses and shares valuable empirical implementation details to aid in the advancement of related algorithms.

研究动机与目标

• 总结以视觉为中心的 BEV 感知及其核心视图变换挑战的现状。
• 按 PV-to-BEV 变换策略对方法进行分类（基于单应性的、基于深度的、基于 MLP 的、基于 transformer 的）。
• 分析数据集、评估指标和任务扩展，以促进系统比较和未来研究。
• 提供实用见解与实验细节，帮助实现与复现。

提出的方法

• 将 PV-to-BEV 方法分为四类：基于单应性的、基于深度、基于 MLP、基于 transformer 的方法。
• 讨论深度监督和多视图融合作为深度基方法的关键组成部分。
• 强调 IPM、深度分布估计和 BEV 特征聚合在基于体素的和基于点的方案中的作用。
• 在从 PV 特征到 BEV 表示的端到端学习流水线方面进行比较，覆盖如 3D 检测和地图分割等任务。
• 总结扩展，如多任务学习、BEV 融合和语义占据预测。
• 提供更新基准和代表性方法的参考，以指导实验设置。

实验结果

研究问题

• RQ1 面向以视觉为中心的 BEV 感知，主要的 PV-to-BEV 变换范式及其权衡是什么？
• RQ2 深度估计、多视图融合以及基于 transformer 的跨注意力如何影响 BEV 感知性能？
• RQ3 哪些数据集和评估指标对比较以视觉为中心的 BEV 方法最具信息性？
• RQ4 哪些扩展（多任务学习、BEV 融合、占据预测）能够提升 BEV 感知性能和实用性？

主要发现

• 以视觉为中心的 BEV 方法已从基于几何的方法发展到基于深度学习的方法，分为四条路径：基于单应性的、基于深度、基于 MLP 的、以及基于 transformer 的方法。
• 具有显式深度分布的深度为基础和基于体素的设计通常能产生更强的 BEV 表征，并从深度监督中受益。
• 基于 MLP 的方法提供从透视视图到 BEV 的端到端映射，若干架构强调多视图融合和上下文聚合。
• 基于 transformer 的方法利用 PV 特征与 BEV 查询之间的跨注意力，在 BEV 任务上实现了强性能。
• 多视图和时序融合，以及在与深度相关的任务上的预训练，显著提升下游的 BEV 感知性能。
• 若干基准特定的指标（KITTI、nuScenes、Waymo）采用专门的评估方案，考虑三维定位、方向和航向，对报告的性能产生影响。