[论文解读] Multi-View Fusion of Sensor Data for Improved Perception and Prediction in Autonomous Driving

Sudeep Fadadu, Shreyash Pandey+5 more|arXiv (Cornell University)|Aug 27, 2020

Advanced Neural Network Applications被引用 10

一句话总结

本文提出了一种多视角融合框架，结合了激光雷达和摄像头数据的鸟瞰图（BEV）与距离视图（RV）表征，以提升自动驾驶中的目标检测与轨迹预测性能。通过在原始激光雷达RV特征与BEV特征之间进行激光雷达匹配实现融合，并在投影至BEV前高效地将摄像头数据整合至RV空间，该方法在nuScenes和自有数据集上实现了最先进性能，且计算开销极低。

ABSTRACT

We present an end-to-end method for object detection and trajectory prediction utilizing multi-view representations of LiDAR returns and camera images. In this work, we recognize the strengths and weaknesses of different view representations, and we propose an efficient and generic fusing method that aggregates benefits from all views. Our model builds on a state-of-the-art Bird's-Eye View (BEV) network that fuses voxelized features from a sequence of historical LiDAR data as well as rasterized high-definition map to perform detection and prediction tasks. We extend this model with additional LiDAR Range-View (RV) features that use the raw LiDAR information in its native, non-quantized representation. The RV feature map is projected into BEV and fused with the BEV features computed from LiDAR and high-definition map. The fused features are then further processed to output the final detections and trajectories, within a single end-to-end trainable network. In addition, the RV fusion of LiDAR and camera is performed in a straightforward and computationally efficient manner using this framework. The proposed multi-view fusion approach improves the state-of-the-art on proprietary large-scale real-world data collected by a fleet of self-driving vehicles, as well as on the public nuScenes data set with minimal increases on the computational cost.

研究动机与目标

• 为解决单表征方法在自动驾驶感知中的局限性，通过结合BEV与RV特征表征的优势。
• 通过融合多视角传感器数据，实现高效端到端的联合检测与轨迹预测。
• 通过在检测与预测任务间共享特征，降低系统延迟与误差传播。
• 通过在RV中保留原生激光雷达表征，提升对行人与自行车等小目标、远距离目标的检测能力。
• 在统一的多视角框架内，实现计算高效的摄像头与激光雷达数据融合。

提出的方法

• 该方法将激光雷达数据编码为BEV与RV两种表征，分别处理后在共同的BEV空间中融合。
• 使用球面投影将原始非量化激光雷达数据投影至距离视图（RV）特征图，保留细粒度细节。
• 通过激光雷达点对应关系将RV特征与BEV特征进行匹配，实现融合前的空间对齐。
• 在投影至BEV前，将摄像头RGB数据与激光雷达在RV空间中融合，实现高效的跨传感器学习。
• 将融合后的BEV特征通过共享主干网络处理，实现端到端的检测与轨迹预测。
• 该架构基于MultiXNet构建，可与其它基于BEV或RV的模型兼容，实现可泛化的性能提升。

实验结果

研究问题

• RQ1 结合激光雷达数据的BEV与RV表征是否能提升检测精度，特别是对小目标与远距离目标？
• RQ2 在RV空间中融合多视角激光雷达与摄像头数据，相较于仅使用BEV融合，对检测与预测性能有何影响？
• RQ3 多视角融合的计算成本如何？是否可实现低延迟以支持实时部署？
• RQ4 融合多视角特征是否能减少级联误差，并提升自动驾驶感知中的端到端性能？
• RQ5 与ContFuse和LaserFlow等最先进模型相比，该方法在精度与推理速度方面表现如何？

主要发现

• LC-MV-Lite模型在nuScenes数据集上相较MultiXNet基线，对自行车手的平均精度（mAP）提升6.5%，对行人提升5.5%。
• LC-MV-Lite模型在3秒时的轨迹预测误差（DE@3s）降低107cm，优于LaserFlow（143cm）与ContFuse。
• 相较于MultiXNet，LC-MV-Lite的多视角激光雷达融合仅增加5ms推理延迟，摄像头融合仅增加1ms，而ContFuse则增加31ms。
• 在更远距离下性能增益更显著：相比MultiXNet，LC-MV-ResNet在远距离车辆检测中mAP提升5.3%。
• 定性结果表明，该模型能检测到以往BEV-only模型中遗漏的远距离目标，尤其在摄像头可见但BEV模型无法识别时表现更优。
• 尽管检测性能优异，LC-MV-ResNet模型在罕见类别自行车手上的预测性能有所下降，可能由于样本数量过少。