[论文解读] Objects are Different: Flexible Monocular 3D Object Detection

Yunpeng Zhang, Jiwen Lu+1 more|arXiv (Cornell University)|Apr 6, 2021

Robotics and Sensor-Based Localization参考文献 43被引用 14

一句话总结

本文提出 MonoFlex，一种灵活的单目 3D 目标检测框架，通过边缘特征表示解耦遮挡目标，并利用不确定性引导的集成学习自适应组合深度估计器。该方法在 KITTI 基准测试中实现了最先进性能，在 moderate 和 hard 设置下分别实现 27% 和 30% 的 AP 提升，同时保持实时推理速度。

ABSTRACT

The precise localization of 3D objects from a single image without depth information is a highly challenging problem. Most existing methods adopt the same approach for all objects regardless of their diverse distributions, leading to limited performance for truncated objects. In this paper, we propose a flexible framework for monocular 3D object detection which explicitly decouples the truncated objects and adaptively combines multiple approaches for object depth estimation. Specifically, we decouple the edge of the feature map for predicting long-tail truncated objects so that the optimization of normal objects is not influenced. Furthermore, we formulate the object depth estimation as an uncertainty-guided ensemble of directly regressed object depth and solved depths from different groups of keypoints. Experiments demonstrate that our method outperforms the state-of-the-art method by relatively 27\% for the moderate level and 30\% for the hard level in the test set of KITTI benchmark while maintaining real-time efficiency. Code will be available at \url{https://github.com/zhangyp15/MonoFlex}.

研究动机与目标

• 为解决在单目图像中检测严重遮挡 3D 目标这一挑战，此类目标常被现有方法遗漏。
• 降低长尾、难检测目标对整体检测性能的负面影响。
• 通过自适应组合多种深度估计策略，提升深度估计的鲁棒性。
• 利用边缘融合模块，将遮挡目标的特征学习与预测过程解耦。
• 对深度估计器的不确定性进行建模，以实现对多个深度预测源的动态加权。

提出的方法

• 通过投影的 2D 中心点和边缘点，分别分离内部与外部目标，实现目标预测的解耦。
• 引入边缘融合模块，解耦遮挡目标的特征学习与预测过程，提升对遮挡目标的定位能力。
• 将关键点划分为 M 组，每组足以求解几何深度，从而增强对遮挡和截断的鲁棒性。
• 对每个深度估计器（直接回归与基于关键点的解法）建模不确定性，并通过不确定性加权平均进行融合。
• 采用软集成学习方法，根据估计的不确定性动态选择并组合深度预测，提升鲁棒性。
• 采用联合优化策略，在保持实时推理的同时，提升所有目标类别检测精度。

实验结果

研究问题

• RQ1 将遮挡目标与正常目标解耦，是否能提升单目 3D 检测中的检测性能？
• RQ2 在存在遮挡和截断的情况下，不确定性引导的集成学习如何提升深度估计的鲁棒性？
• RQ3 自适应组合多种深度估计方法是否能优于固定单一方法的方案？
• RQ4 边缘感知表示在检测长尾、严重截断目标方面能提升多少？
• RQ5 基于不确定性的集成方法在多大程度上能接近最优深度估计器的“理想选择”性能？

主要发现

• 与最先进方法相比，所提方法在 KITTI 基准测试的 moderate 等级上实现 27% 的相对 AP 提升，在 hard 等级上实现 30% 的提升。
• 不确定性引导的深度估计器集成在 car 类别 hard 等级上达到 23.64 的 AP，显著优于单个估计器（如直接回归为 14.83）。
• 软集成方法在 IoU > 0.5 条件下实现 8.16 的行人检测 AP，接近理想选择的 8.54，展现出强大适应能力。
• 边缘融合模块有效提升了对严重截断目标的检测能力，定性结果中以红色椭圆明确标示出此类情况。
• 多个深度估计器的联合学习提升了所有组别的性能，表明特征学习可从集成训练中获益。
• 该方法保持了实时推理效率，适用于自动驾驶系统中的实际部署。