[论文解读] Unsupervised Adaptation from Repeated Traversals for Autonomous Driving

Yurong You, Cheng Perng Phoo+6 more|arXiv (Cornell University)|Mar 27, 2023

Advanced Neural Network Applications被引用 5

一句话总结

本文提出 Rote-DA，一种用于自动驾驶中 3D 目标检测的自监督域自适应方法，利用同一道路重复 traversals 中的未标注 LiDAR 数据。通过将跨 traversals 的持久性作为代理信号，结合后验过滤减少误报，通过前景-背景监督减少漏检，仅使用极少的标注数据即在 Lyft 和 Ithaca-365 数据集上实现了最先进性能。

ABSTRACT

For a self-driving car to operate reliably, its perceptual system must generalize to the end-user's environment -- ideally without additional annotation efforts. One potential solution is to leverage unlabeled data (e.g., unlabeled LiDAR point clouds) collected from the end-users' environments (i.e. target domain) to adapt the system to the difference between training and testing environments. While extensive research has been done on such an unsupervised domain adaptation problem, one fundamental problem lingers: there is no reliable signal in the target domain to supervise the adaptation process. To overcome this issue we observe that it is easy to collect unsupervised data from multiple traversals of repeated routes. While different from conventional unsupervised domain adaptation, this assumption is extremely realistic since many drivers share the same roads. We show that this simple additional assumption is sufficient to obtain a potent signal that allows us to perform iterative self-training of 3D object detectors on the target domain. Concretely, we generate pseudo-labels with the out-of-domain detector but reduce false positives by removing detections of supposedly mobile objects that are persistent across traversals. Further, we reduce false negatives by encouraging predictions in regions that are not persistent. We experiment with our approach on two large-scale driving datasets and show remarkable improvement in 3D object detection of cars, pedestrians, and cyclists, bringing us a step closer to generalizable autonomous driving.

研究动机与目标

• 为解决在无标注数据的情况下将自动驾驶汽车部署到新环境时 3D 目标检测中的域偏移问题。
• 利用真实驾驶中重复路线 traversals 的自然发生特性，构建弱监督信号以实现域自适应。
• 仅使用来自多次 traversals 的未标注 LiDAR 数据，在目标域中提升对车辆、行人和骑行人检测的准确性。
• 开发一种自训练框架，通过迭代利用持久性先验和辅助监督来修正检测错误，从而优化检测器。

提出的方法

• 该方法通过在多个 traversals 上计算持久性先验（PP-score），识别静态背景点，这些点不太可能是真实检测结果。
• 通过后验过滤机制，过滤掉包含高比例持久（静态）点的检测结果，从而减少误报。
• 通过引入辅助损失，鼓励检测非持久（前景）点，从而缓解漏检问题。
• 在目标域的过滤后伪标签数据上迭代微调检测器，实现无需真实标注的自训练。
• 该方法可轻松应用于现有 3D 检测器，仅需极少架构修改，与最先进模型兼容。
• 该方法假设源域与目标域中物体频率共享，并通过路线级数据采集实现可扩展的自适应。

实验结果

研究问题

• RQ1 真实驾驶中对同一道路的重复 traversals 是否能为无监督域自适应中的 3D 目标检测提供可靠的弱监督信号？
• RQ2 如何利用 traversals 间的持久性来减少目标域中无真实标注情况下的误报检测？
• RQ3 对非持久点的辅助监督是否能提升召回率并减少域自适应中的漏检？
• RQ4 该自训练方法在真实世界 3D 检测基准上相较于现有无监督域自适应方法，性能提升程度如何？

主要发现

• 在从 KITTI 到 Lyft 和 Ithaca-365 的域自适应任务中，Rote-DA 在 3D 目标检测 mAP 上取得显著提升，部分类别性能提升超过 20%。
• 在 KITTI → Lyft 基准上，Rote-DA 的性能优于在目标域中使用人工标注数据训练的专用检测器，树立了新的性能上限。
• 该方法的最高召回率高于基线方法（如 PO-F + FB-F），表明其有效减少了漏检。
• 定性结果表明，Rote-DA 成功检测到三类目标（车辆、行人、骑行人），召回率高且误报少，而 ST3D 和 SN 方法则表现不佳。
• 该方法在不同模型（如 PV-RCNN）和多种自适应场景（如从 Waymo Open Dataset 到 Ithaca-365）中均表现出鲁棒性。
• 消融实验确认，后验过滤与前景-背景监督对性能提升均至关重要。