[论文解读] ZoomNet: Part-Aware Adaptive Zooming Neural Network for 3D Object Detection

Zhenbo Xu, Wei Zhang+7 more|arXiv (Cornell University)|Mar 1, 2020

Advanced Neural Network Applications参考文献 19被引用 4

一句话总结

ZoomNet 是一种新颖的立体 3D 目标检测框架，通过采用部件感知的自适应缩放技术，提升远距离和遮挡物体的视差估计与 3D 点云重建效果。通过将目标实例缩放到统一分辨率并调整相机参数，该方法提升了点云的密度与质量，在 KITTI 数据集上相较伪 LiDAR 实现了 9.4% 的 APbv（IoU=0.7）性能提升，达到当前最优水平。

ABSTRACT

3D object detection is an essential task in autonomous driving and robotics. Though great progress has been made, challenges remain in estimating 3D pose for distant and occluded objects. In this paper, we present a novel framework named ZoomNet for stereo imagery-based 3D detection. The pipeline of ZoomNet begins with an ordinary 2D object detection model which is used to obtain pairs of left-right bounding boxes. To further exploit the abundant texture cues in RGB images for more accurate disparity estimation, we introduce a conceptually straight-forward module -- adaptive zooming, which simultaneously resizes 2D instance bounding boxes to a unified resolution and adjusts the camera intrinsic parameters accordingly. In this way, we are able to estimate higher-quality disparity maps from the resized box images then construct dense point clouds for both nearby and distant objects. Moreover, we introduce to learn part locations as complementary features to improve the resistance against occlusion and put forward the 3D fitting score to better estimate the 3D detection quality. Extensive experiments on the popular KITTI 3D detection dataset indicate ZoomNet surpasses all previous state-of-the-art methods by large margins (improved by 9.4% on APbv (IoU=0.7) over pseudo-LiDAR). Ablation study also demonstrates that our adaptive zooming strategy brings an improvement of over 10% on AP3d (IoU=0.7). In addition, since the official KITTI benchmark lacks fine-grained annotations like pixel-wise part locations, we also present our KFG dataset by augmenting KITTI with detailed instance-wise annotations including pixel-wise part location, pixel-wise disparity, etc.. Both the KFG dataset and our codes will be publicly available at https://github.com/detectRecog/ZoomNet.

研究动机与目标

• 解决基于立体图像的系统在远距离和遮挡物体上 3D 检测不准确的挑战。
• 克服伪 LiDAR 中整体视差估计的局限性，该方法因分辨率低和特征稀疏而在远距离或遮挡物体上性能下降。
• 通过引入像素级部件位置监督作为补充 3D 信息，提升对遮挡的鲁棒性。
• 通过提出一种 3D 拟合分数作为 3D 检测置信度度量，该度量与 3D IoU 的相关性优于 2D 分类概率，从而提升 3D 检测置信度估计。
• 构建一个新数据集 KFG，包含细粒度标注（像素级部件位置、视差），以支持未来立体 3D 检测研究。

提出的方法

• 应用标准 2D 目标检测器，为每个物体生成左右图像中的实例边界框。
• 实施自适应缩放：将每个 2D 实例缩放到固定分辨率，并相应调整相机内参，以保持几何一致性。
• 在缩放后的实例图像上估计高分辨率视差图，从而实现对远距离物体更精确的深度估计。
• 利用调整后的相机参数将缩放后的视差图投影为密集 3D 点云，无论物体距离远近，均生成均匀密集的点云。
• 引入部件位置头，预测像素级部件位置（如前部、后部、侧部）作为 3D 感知监督，以提升遮挡情况下的泛化能力。
• 提出一种 3D 拟合分数作为 3D 检测的置信度度量，基于预测与真实值之间的 3D IoU 计算，其反映检测质量优于 2D 分类概率。

实验结果

研究问题

• RQ1 自适应缩放物体实例是否能提升立体 3D 检测中远距离物体的视差估计与 3D 点云质量？
• RQ2 引入像素级部件位置监督如何提升遮挡情况下的检测鲁棒性？
• RQ3 3D 拟合分数是否比 2D 分类概率提供更优的 3D 检测置信度估计？
• RQ4 自适应缩放、部件位置监督与 3D 拟合分数三者结合，在具有挑战性的 KITTI 基准上能将性能提升到何种程度？
• RQ5 包含像素级标注的新型细粒度数据集（KFG）是否能支持更优的立体 3D 检测评估与训练？

主要发现

• ZoomNet 在 KITTI 3D 检测基准上相较伪 LiDAR 实现了 9.4% 的绝对 APbv（IoU=0.7）提升，创下新的 SOTA 记录。
• 在 KITTI Mode 集上，ZoomNet 达到 72.94% 的 APbv（IoU=0.7），超越所有先前基于图像的方法，并首次使基于立体的方法在 Hard 集中突破 70%。
• 消融实验表明，仅使用自适应缩放即可使 AP3d（IoU=0.7）相比基线提升超过 10%，证明其在提升点云密度与质量方面具有关键作用。
• 在 Hard 集上移除部件位置监督后，AP3d（IoU=0.7）下降 40.88%，证实其在检测遮挡物体中的重要性。
• 3D 拟合分数显著改善了检测置信度估计，移除后 AP3d（IoU=0.7）下降 4%，尤其在高 IoU 阈值下更为明显。
• 随代码一同发布的 KFG 数据集提供了像素级的部件位置与视差标注，为未来细粒度 3D 检测研究提供了支持。