[论文解读] MV2DFusion: Leveraging Modality-Specific Object Semantics for Multi-Modal 3D Detection

Zitian Wang, Zehao Huang+3 more|arXiv (Cornell University)|Aug 12, 2024

Image Processing and 3D Reconstruction被引用 5

一句话总结

MV2DFusion 引入了模态特定的对象语义，使用图像和点云查询以及稀疏融合解码器来执行多模态三维检测，在 nuScenes 和 AV2 上取得了最先进的结果，尤其在远距离场景中。

ABSTRACT

The rise of autonomous vehicles has significantly increased the demand for robust 3D object detection systems. While cameras and LiDAR sensors each offer unique advantages--cameras provide rich texture information and LiDAR offers precise 3D spatial data--relying on a single modality often leads to performance limitations. This paper introduces MV2DFusion, a multi-modal detection framework that integrates the strengths of both worlds through an advanced query-based fusion mechanism. By introducing an image query generator to align with image-specific attributes and a point cloud query generator, MV2DFusion effectively combines modality-specific object semantics without biasing toward one single modality. Then the sparse fusion process can be accomplished based on the valuable object semantics, ensuring efficient and accurate object detection across various scenarios. Our framework's flexibility allows it to integrate with any image and point cloud-based detectors, showcasing its adaptability and potential for future advancements. Extensive evaluations on the nuScenes and Argoverse2 datasets demonstrate that MV2DFusion achieves state-of-the-art performance, particularly excelling in long-range detection scenarios.

研究动机与目标

• 利用相机和 LiDAR 的互补优势实现鲁棒的三维目标检测。
• 开发模态特定的对象语义，避免融合时的模态偏见。
• 实现与任意图像和 LiDAR 检测器的灵活集成，并支持远距离、稀疏融合。
• 提出不确定性感知的图像查询以缓解来自图像的深度估计挑战。
• 在 nuScenes 和 Argoverse 2 上进行评估以展示最先进的性能。

提出的方法

• 独立的图像与 LiDAR 主干网络提取模态特定特征。
• 创建模态特定的对象查询（来自三维检测的点云查询；来自二维检测的图像查询，具有不确定性感知的深度处理）。
• 生成具有不确定性感知深度分布的图像查询，以与图像模态对齐。（方程 3.2.3–3.2.4）
• 在变形的跨注意力用于图像特征的 transformer 风格解码器中对模态查询和特征进行融合，包含自注意力和跨注意力（包括对图像特征的可变形跨注意力）。
• 在解码器各层对图像查询进行校准以细化深度/姿态的不确定性（Query Calibration）。
• 通过历史查询队列引入时间信息，实现高效的时序融合（第 3.3.5 节）。

实验结果

研究问题

• RQ1 模态特定对象语义如何在多模态三维检测中提高性能而不偏向单一模态？
• RQ2 在稀疏、远距离设置中，基于查询的融合框架能否有效地融合图像和 LiDAR 信息？
• RQ3 与确定性深度提案相比，不确定性感知的图像查询带来哪些增益？
• RQ4 MV2DFusion 在 nuScenes 和 AV2 上的表现如何，特别是对长距离物体？

主要发现

方法	NDS ↑	mAP ↑	mATE ↓	mASE ↓	mAOE ↓	mAVE ↓	mAAE ↓
PointPainting	0.610	0.541	0.380	0.260	0.541	0.293	0.131
PointAugmenting	0.711	0.668	0.253	0.235	0.354	0.266	0.123
MVP	0.705	0.664	0.263	0.238	0.321	0.313	0.134
TransFusion	0.717	0.689	0.259	0.243	0.359	0.288	0.127
UVTR	0.711	0.671	0.306	0.245	0.351	0.225	0.124
AutoAlignv2	0.724	0.684	-	-	-	-	-
BEVFusion	0.729	0.702	0.261	0.239	0.329	0.260	0.134

• 在 nuScenes 和 AV2 基准测试上达到最先进的性能，具备强大的远距离检测能力。
• 证明模态特定的提案和查询能够在没有模态偏见的情况下实现有效的跨模态融合。
• 灵活的框架，能够与任意图像和 LiDAR 检测器集成并保持全稀疏以提升效率。
• 不确定性感知的图像查询有助于在融合过程中缓解深度估计错误。
• 通过历史查询队列进行时序融合可有效利用过去信息，开销最小。