[论文解读] Triangulation Learning Network: from Monocular to Stereo 3D Object Detection

Zengyi Qin, Jinglu Wang+1 more|arXiv (Cornell University)|Jun 4, 2019

Advanced Vision and Imaging参考文献 27被引用 16

一句话总结

本文提出了一种三角测量学习网络（TLNet），通过利用立体图像对中的3D候选框进行基于几何对应关系的学习，提升了单目3D目标检测性能，且无需依赖像素级深度图。该方法通过通道重加权策略增强有用特征并抑制噪声，在KITTI数据集上实现了最先进性能，将3D定位精度在严格距离阈值下提升了高达10%。

ABSTRACT

In this paper, we study the problem of 3D object detection from stereo images, in which the key challenge is how to effectively utilize stereo information. Different from previous methods using pixel-level depth maps, we propose employing 3D anchors to explicitly construct object-level correspondences between the regions of interest in stereo images, from which the deep neural network learns to detect and triangulate the targeted object in 3D space. We also introduce a cost-efficient channel reweighting strategy that enhances representational features and weakens noisy signals to facilitate the learning process. All of these are flexibly integrated into a solid baseline detector that uses monocular images. We demonstrate that both the monocular baseline and the stereo triangulation learning network outperform the prior state-of-the-arts in 3D object detection and localization on the challenging KITTI dataset.

研究动机与目标

• 开发一种鲁棒的3D目标检测框架，有效利用立体图像对，且无需像素级深度图。
• 通过在立体视图间引入基于3D候选框的几何对应关系，解决从单目图像中进行病态3D定位的挑战。
• 通过设计一种轻量化、无参数的通道重加权机制，增强立体3D检测中的特征表示，提升左右视图间特征的一致性。
• 建立一个性能强大且可与先前基于立体图像的SOTA方法相媲美或超越的单目基线。
• 证明基于显式3D候选框的三角测量学习可实现更精确的3D目标定位，尤其在严格IoU和距离阈值下表现更优。

提出的方法

• 该方法利用3D候选框在左右立体图像中投影区域之间建立对象级对应关系，使网络能够直接学习3D目标的三角测量。
• 提出一种新颖的通道重加权策略，通过计算左右RoI特征通道间的成对余弦相似度来度量一致性，随后对信息量丰富的通道进行重加权，抑制噪声通道。
• 该重加权机制在特征融合前应用，为无参设计，计算开销极低，同时显著提升特征质量。
• 立体扩展基于单目3D检测器基线构建，左右分支共享主干网络权重，以保持一致性。
• 通过重加权加法而非拼接或逐元素相加的方式实现特征融合，更好地保留了用于三角测量的判别性特征。
• 整个流程采用端到端训练，单目基线为立体增强提供了强大基础。

实验结果

研究问题

• RQ1 单目3D检测器基线是否能在无额外深度监督的情况下，实现与基于立体图像的SOTA方法相当的性能？
• RQ2 如何有效利用立体图像对进行3D目标检测，且不依赖像素级深度图？
• RQ3 基于跨视图特征一致性的通道重加权策略，在多大程度上能提升3D目标定位精度？
• RQ4 与传统特征融合相比，显式基于3D候选框的几何对应关系学习是否能带来更精确的3D边界框预测？
• RQ5 所提出的TLNet框架是否能在KITTI基准上显著提升各类IoU和距离阈值下的检测性能？

主要发现

• 所提出的单目基线在IoU阈值为0.3时达到76.87的AP BEV，优于先前的基于立体图像的SOTA方法3DOP，尤其在严格的0.5米距离阈值下表现更优。
• 采用TLNet后，IoU阈值为0.3和0.5时，AP BEV分别提升约8%，在1米距离阈值下提升10%，显著提高了定位精度。
• 在IoU阈值为0.7时，方法达到18.15的AP 3D，显著超越3DOP，表明在严格评估标准下具有高精度。
• 消融实验表明，重加权策略优于拼接和加法，IoU为0.3时达到78.26的AP 3D，优于拼接（76.87）和加法（75.74）。
• 定性结果表明，深度误差显著减少，尤其对远距离物体，且成功检测到此前被遗漏或严重截断的物体。
• 查全率-查准率曲线显示，TLNet同时提升了查准率和查全率，最大查准率接近1.0，证实了高质量的前K名预测。