[论文解读] MVM3Det: A Novel Method for Multi-view Monocular 3D Detection

Haoran Li, Zicheng Duan+4 more|arXiv (Cornell University)|Sep 22, 2021

Advanced Neural Network Applications参考文献 28被引用 5

一句话总结

MVM3Det 提出了一种新颖的多视角单目 3D 目标检测方法，通过融合多个摄像头视角的特征，联合估计 3D 位置和方向。它引入了一个具有特征正交变换的位置提议网络，以实现一致的全局特征学习，并设计了一个多分支方向估计网络，结合特征透视池化，以解决标签和特征混淆问题，在 MVM3D 和 WildTrack 数据集上均实现了最先进性能，首次实现了精确的方向估计。

ABSTRACT

Monocular 3D object detection encounters occlusion problems in many application scenarios, such as traffic monitoring, pedestrian monitoring, etc., which leads to serious false negative. Multi-view object detection effectively solves this problem by combining data from different perspectives. However, due to label confusion and feature confusion, the orientation estimation of multi-view 3D object detection is intractable, which is important for object tracking and intention prediction. In this paper, we propose a novel multi-view 3D object detection method named MVM3Det which simultaneously estimates the 3D position and orientation of the object according to the multi-view monocular information. The method consists of two parts: 1) Position proposal network, which integrates the features from different perspectives into consistent global features through feature orthogonal transformation to estimate the position. 2) Multi-branch orientation estimation network, which introduces feature perspective pooling to overcome the two confusion problems during the orientation estimation. In addition, we present a first dataset for multi-view 3D object detection named MVM3D. Comparing with State-Of-The-Art (SOTA) methods on our dataset and public dataset WildTrack, our method achieves very competitive results.

研究动机与目标

• 为解决在交通监控和行人监测等真实场景中，因遮挡导致的单目 3D 检测高假阴性率问题。
• 解决使用单目相机进行多视角 3D 方向估计时面临的标签混淆与特征混淆双重挑战。
• 开发一个统一框架，融合多视角信息，实现无需依赖深度传感器的鲁棒 3D 目标定位与方向预测。
• 首次提出一个专用数据集 MVM3D，用于多视角单目 3D 目标检测，以支持未来研究。

提出的方法

• 位置提议网络利用特征正交变换，将多视角图像特征投影到一致的鸟瞰图（BEV）空间，实现统一的 3D 位置估计。
• 设计了一个多分支方向估计网络，用于为每个视角预测相对方向，减少因视角间标签不一致带来的歧义。
• 引入特征透视池化，以解耦因视角差异导致的空间位移特征，缓解方向学习过程中的特征混淆。
• 在 BEV 空间中，通过多分支回归损失联合优化 3D 边界框回归与方向估计。
• 端到端训练框架，结合 PPN（位置提议网络）损失与多分支回归（MBR）损失，以提升定位与方向估计的准确性。
• 在新提出的 MVM3D 数据集和公开的 WildTrack 数据集上进行评估，以验证方法的泛化性与鲁棒性。

实验结果

研究问题

• RQ1 与单视角方法相比，多视角单目数据是否能有效降低因遮挡导致的 3D 目标检测假阴性？
• RQ2 当不同摄像头视角的特征具有不同的空间投影时，如何实现一致的 3D 位置估计？
• RQ3 通过统一的网络架构，标签混淆与特征混淆在多视角 3D 方向估计中能在多大程度上被缓解？
• RQ4 与单视角或朴素融合基线相比，具有感知透视的多分支网络是否能提升方向估计的准确性？
• RQ5 所提出的方法是否在自定义与公开的多视角 3D 检测基准上均实现了最先进性能？

主要发现

• 在 MVM3D 数据集上，MVM3Det 达到 95.9% AP3D、83.2% MODP、99.2% 精确率与 95.8% 召回率，显著优于消融基线。
• 多分支方向估计网络将方向 AP3D 从基线的 30.3% 提升至 IoU=0.5 时的 49.0%，有效解决了方向混淆问题。
• 完整版 MVM3Det 模型在 MVM3D 上实现 94.7% MODA 与 80.6% MODP，即使在复杂遮挡条件下也表现出强大的定位性能。
• 消融研究证实，结合 FOT 与 MBR 的多视角特征融合可显著减少假阴性，并同时提升定位与方向估计的准确性。
• 在公开的 WildTrack 数据集上，MVM3Det 取得具有竞争力的结果，证实其在自定义 MVM3D 基准之外也具备良好泛化能力。
• 所提出的 MVM3D 数据集包含多样的光照与遮挡条件，为未来多视角单目 3D 检测研究提供了新的基准。