[论文解读] Train in Germany, Test in The USA: Making 3D Object Detectors Generalize

Yan Wang, Xiangyu Chen+6 more|arXiv (Cornell University)|May 17, 2020

Advanced Neural Network Applications参考文献 63被引用 13

一句话总结

本文将3D目标检测器在不同数据集间部署时性能下降的主要原因归因于车辆尺寸分布的差异。该文提出一种基于外部数据源（如汽车销售统计数据）的平均车辆尺寸信息进行简单统计归一化的方法，对预测的边界框进行校正，从而在跨数据集的3D检测任务中实现41.4点平均精度（AP）的显著提升。

ABSTRACT

In the domain of autonomous driving, deep learning has substantially improved the 3D object detection accuracy for LiDAR and stereo camera data alike. While deep networks are great at generalization, they are also notorious to over-fit to all kinds of spurious artifacts, such as brightness, car sizes and models, that may appear consistently throughout the data. In fact, most datasets for autonomous driving are collected within a narrow subset of cities within one country, typically under similar weather conditions. In this paper we consider the task of adapting 3D object detectors from one dataset to another. We observe that naively, this appears to be a very challenging task, resulting in drastic drops in accuracy levels. We provide extensive experiments to investigate the true adaptation challenges and arrive at a surprising conclusion: the primary adaptation hurdle to overcome are differences in car sizes across geographic areas. A simple correction based on the average car size yields a strong correction of the adaptation gap. Our proposed method is simple and easily incorporated into most 3D object detection frameworks. It provides a first baseline for 3D object detection adaptation across countries, and gives hope that the underlying problem may be more within grasp than one may have hoped to believe. Our code is available at https://github.com/cxy1997/3D_adapt_auto_driving.

研究动机与目标

• 调查将3D目标检测器从一个自动驾驶数据集迁移到另一个数据集时性能下降的根本原因。
• 识别影响检测器泛化能力的域偏移因素（如传感器差异、天气条件或车辆尺寸）中，哪一项影响最为显著。
• 开发一种实用且轻量级的方法，在无需微调的情况下缓解3D目标检测中的域偏移问题。
• 验证车辆尺寸统计信息是跨数据集性能下降的主导因素。

提出的方法

• 在某一数据集上训练3D目标检测器（PIXOR和PointRCNN），并在多个其他数据集上进行评估，以量化域偏移程度。
• 分析不同数据集中车辆尺寸、形状及传感器配置的差异，以隔离性能下降的主要原因。
• 提出一种统计归一化技术，利用外部数据（如汽车销售统计数据）提供的平均车辆尺寸对预测的3D边界框进行缩放校正。
• 将该归一化方法应用于输入的LiDAR特征和输出的检测预测结果，使检测器输出与目标域的统计特性对齐。
• 使用来自国家车辆登记系统或销售报告的汇总车辆尺寸数据（高度、宽度、长度）对归一化过程进行校准。
• 在五个主要数据集（KITTI、Argoverse、nuScenes、Lyft和Waymo）上评估该方法，覆盖多种距离和难度阈值。

Figure 1: Datasets. We show frontal view images (left) and the corresponding LiDAR signals (right) from the bird’s-eye view for five datasets: KITTI [ 18 , 19 ] , Argoverse [ 7 ] , nuScenes [ 4 ] , Lyft [ 25 ] , and Waymo [ 3 ] . These datasets not only capture scenes at different geo-locations, but

实验结果

研究问题

• RQ1 导致3D目标检测器从一个地理区域迁移到另一个区域时性能下降的主要域偏移因素是什么？
• RQ2 与传感器配置或天气等其他因素相比，不同数据集中车辆尺寸和形状的差异对检测器性能的影响如何？
• RQ3 基于平均车辆尺寸的简单、数据驱动的归一化方法是否能显著提升跨数据集的3D检测性能？
• RQ4 在传感器配置和环境条件各不相同的多样化数据集中，基于尺寸的归一化是否能带来稳定且鲁棒的性能增益？

主要发现

• 跨数据集3D目标检测性能下降的主要原因是训练域与测试域之间车辆尺寸的统计差异。
• 当未进行任何适应时，基于KITTI（德国车辆，平均长度约4.4米）训练的检测器在Waymo（美国，平均长度约5.15米）上的性能下降达36%。
• 通过使用外部数据源提供的平均车辆尺寸进行统计归一化，可在所有数据集的3D easy集上实现41.4点平均精度（AP）的提升。
• 即使使用汽车销售数据而非特定数据集的统计信息，该方法仍表现出良好的鲁棒性与实用性。
• 该方法可降低误报率，并改善边界框的尺寸估计，如在KITTI上的定性结果所示。
• 性能增益在远距离检测（50米至70米）区间最为显著，此时尺寸错配的影响最为严重。

Figure 2: The average numbers of 3D points per car (left) and per scene (right). We only include points within the frontal-view camera view and cars whose depths are within $70$ meters.