[论文解读] PolarBEVDet: Exploring Polar Representation for Multi-View 3D Object Detection in Bird's-Eye-View

Zichen Yu, Quanli Liu+3 more|arXiv (Cornell University)|Aug 29, 2024

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

PolarBEVDet 提出了一种基于 LSS 的多视角 3D 目标检测框架，通过用极坐标鸟瞰图（BEV）表示替代传统的笛卡尔鸟瞰图（BEV）表示，更好地匹配非均匀分布的图像信息，并保持视角对称性。通过引入极坐标视角变换器、极坐标时间特征融合模块以及极坐标检测头，结合 2D 辅助监督与空间注意力机制，该方法在 nuScenes 数据集上实现了最先进性能，NDS 达到 52.7%，mAP 达到 43.4%。

ABSTRACT

Recently, LSS-based multi-view 3D object detection provides an economical and deployment-friendly solution for autonomous driving. However, all the existing LSS-based methods transform multi-view image features into a Cartesian Bird's-Eye-View(BEV) representation, which does not take into account the non-uniform image information distribution and hardly exploits the view symmetry. In this paper, in order to adapt the image information distribution and preserve the view symmetry by regular convolution, we propose to employ the polar BEV representation to substitute the Cartesian BEV representation. To achieve this, we elaborately tailor three modules: a polar view transformer to generate the polar BEV representation, a polar temporal fusion module for fusing historical polar BEV features and a polar detection head to predict the polar-parameterized representation of the object. In addition, we design a 2D auxiliary detection head and a spatial attention enhancement module to improve the quality of feature extraction in perspective view and BEV, respectively. Finally, we integrate the above improvements into a novel multi-view 3D object detector, PolarBEVDet. Experiments on nuScenes show that PolarBEVDet achieves the superior performance. The code is available at https://github.com/Yzichen/PolarBEVDet.git.(This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible)

研究动机与目标

• 解决多视角 3D 检测中均匀的笛卡尔 BEV 网格与非均匀图像信息分布之间的不匹配问题。
• 保持环绕相机视角之间的对称性，该对称性在传统笛卡尔 BEV 中因平移不变卷积而被破坏。
• 通过辅助监督与注意力机制，提升透视空间与 BEV 空间中的特征质量。
• 证明极坐标 BEV 表示在不同检测架构中的泛化能力与优越性。

提出的方法

• 引入极坐标视角变换器，将多视角图像特征转换为极坐标 BEV 表示，采用角度与径向网格栅格化方法。
• 设计极坐标时间特征融合模块，聚合历史极坐标 BEV 特征，提升时间一致性。
• 开发极坐标检测头，利用极坐标参数化表示预测 3D 目标。
• 集成 2D 辅助检测头，包含边界框回归、分类与中心点回归，以增强图像视图中的特征质量。
• 在 BEV 空间中应用空间注意力增强模块，抑制背景噪声并突出前景目标。
• 将所有组件整合为统一的 LSS 基础框架 PolarBEVDet，实现端到端的多视角 3D 目标检测。

实验结果

研究问题

• RQ1 极坐标 BEV 表示是否能更好地匹配多视角 3D 检测中图像信息的自然分布？
• RQ2 极坐标 BEV 是否能保持环绕相机之间的视角对称性，从而减少标准卷积带来的表示不一致性？
• RQ3 2D 辅助监督如何提升图像空间与 BEV 空间中的特征质量？
• RQ4 在神经网络架构中，空间注意力增强模块的最佳插入位置在哪里？
• RQ5 极坐标 BEV 表示是否在不同主干网络架构与检测头之间具有泛化能力？

主要发现

• PolarBEVDet 在 nuScenes 基准测试中达到 52.7% 的 NDS 与 43.4% 的 mAP，优于其笛卡尔 BEV 对应方法。
• 当所有子任务（边界框回归、分类、中心点回归）均启用时，2D 辅助监督使 mAP 提升 0.4%，NDS 提升 0.2%。
• 在 BEV 编码器之前插入空间注意力增强模块可获得最佳性能，相比无 SAE 情况，mAP 提升 0.5%，NDS 提升 0.4%。
• 极坐标 BEV 表示同时降低了平移误差与方向误差，表明定位精度得到提升。
• BEVDet4D 与 BEVDepth 的极坐标版本均一致优于其笛卡尔对应版本，证明了极坐标 BEV 方法的普适性。
• 定性结果表明，小目标（如交通锥、行人）检测准确，但远距离目标检测仍具挑战。