[论文解读] SuperFusion: Multilevel LiDAR-Camera Fusion for Long-Range HD Map Generation

Hao Dong, Weihao Gu+6 more|arXiv (Cornell University)|Nov 28, 2022

Advanced Neural Network Applications被引用 10

一句话总结

SuperFusion 提出了一种多层级激光雷达-相机融合网络，通过在输入、特征和鸟瞰图（BEV）三个层级上融合数据，将高清地图生成范围扩展至90米，显著提升了长距离地图生成效果。该方法利用激光雷达深度监督相机到BEV的特征变换，并通过交叉注意力机制，利用图像特征引导长距离激光雷达特征预测，从而改善图像的深度估计。在nuScenes数据集和自建数据集上，该方法实现了当前最优性能，长距离场景下的路径规划成功率高达72%。

ABSTRACT

High-definition (HD) semantic map generation of the environment is an essential component of autonomous driving. Existing methods have achieved good performance in this task by fusing different sensor modalities, such as LiDAR and camera. However, current works are based on raw data or network feature-level fusion and only consider short-range HD map generation, limiting their deployment to realistic autonomous driving applications. In this paper, we focus on the task of building the HD maps in both short ranges, i.e., within 30 m, and also predicting long-range HD maps up to 90 m, which is required by downstream path planning and control tasks to improve the smoothness and safety of autonomous driving. To this end, we propose a novel network named SuperFusion, exploiting the fusion of LiDAR and camera data at multiple levels. We use LiDAR depth to improve image depth estimation and use image features to guide long-range LiDAR feature prediction. We benchmark our SuperFusion on the nuScenes dataset and a self-recorded dataset and show that it outperforms the state-of-the-art baseline methods with large margins on all intervals. Additionally, we apply the generated HD map to a downstream path planning task, demonstrating that the long-range HD maps predicted by our method can lead to better path planning for autonomous vehicles. Our code has been released at https://github.com/haomo-ai/SuperFusion.

研究动机与目标

• 为解决现有高清地图生成方法仅能生成短距离地图（30米以内）的局限性，该局限性会阻碍自动驾驶中的平稳且安全的路径规划。
• 开发一种稳健的多层级融合框架，充分利用激光雷达与相机数据的互补优势，实现准确的长距离语义地图预测。
• 证明长距离高清地图能显著提升下游路径规划与运动控制性能。
• 公开代码与一个新的自录数据集，以支持未来在长距离高清地图生成方向的研究。

提出的方法

• 在三个层级上融合激光雷达与相机数据：在输入层级，通过将激光雷达点投影到图像空间，并利用激光雷达深度监督相机到BEV的特征变换。
• 采用交叉注意力机制，利用图像特征引导长距离激光雷达BEV特征预测，从而增强远距离区域的语义一致性。
• 引入BEV对齐模块，以纠正因深度估计不准确或传感器外参标定误差导致的特征错位。
• 采用BEV层级融合策略，通过可学习的注意力机制对齐并融合相机与激光雷达的BEV特征。
• 采用多阶段网络架构，结合编码器-解码器结构，实现激光雷达BEV特征补全，并由图像特征进行引导。
• 将稀疏深度图作为输入通道，保留原始深度值，为基于图像的特征学习提供精确的深度先验。

Figure 1 : Long-range HD map generation for path planning. The red car represents the current position of the car, and the blue star is the goal. The upper figure shows that the baseline method only generates short-range HD maps, leading to lousy planning results. The lower one shows that our SuperF

实验结果

研究问题

• RQ1 多层级激光雷达与相机数据融合是否能将高清地图生成范围突破典型30米的限制？
• RQ2 图像引导的激光雷达特征预测在激光雷达数据稀疏的远距离区域中，如何提升语义一致性？
• RQ3 当传感器标定或深度估计存在误差时，BEV特征对齐对地图准确率有何影响？
• RQ4 长距离高清地图在自动驾驶中对下游路径规划性能的提升程度如何？
• RQ5 SuperFusion在短距离与长距离地图生成任务中，相较于当前最优方法表现如何？

主要发现

• 在长距离场景（30–90米）中，SuperFusion实现了72%的路径规划成功率，显著优于HDMapNet（45%）和BEVFusion（49%）。
• 在nuScenes和自建数据集的所有评估区间中，该方法均显著优于当前最优基线模型，无论在短距离还是长距离地图生成任务中均展现出巨大优势。
• 移除交叉注意力模块后性能出现显著下降，证实其在引导长距离激光雷达特征预测中起着关键作用。
• BEV对齐模块在深度估计或外参不准确的场景下，显著提升了地图准确率，优于基线方法。
• 将稀疏深度图作为输入通道并保留原始深度值，可获得最佳性能，优于基于分箱的深度表示或独立编码器方案。
• 在弯道场景中，SuperFusion相较于基线模型的性能提升更为显著，表明其在预测复杂道路几何结构方面的有效性。

Figure 2 : Pipeline overview of SuperFusion. Our method fuses camera and LiDAR data in three levels: the data-level fusion fuses depth information from LiDAR to improve the accuracy of image depth estimation, the feature-level fusion uses cross-attention for long-range LiDAR BEV feature prediction w