[论文解读] ReSimAD: Zero-Shot 3D Domain Transfer for Autonomous Driving with Source Reconstruction and Target Simulation

Bo Zhang, Xinyu Cai+11 more|arXiv (Cornell University)|Sep 11, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

ReSimAD 提出了一种用于自动驾驶的零样本 3D 域自适应框架，通过从源域标注点云重建 3D 场景，并注入目标域特定的传感器特性来模拟类似目标域的点云。该方法在跨域基准（如 Waymo-to-KITTI 和 Waymo-to-nuScenes）上实现了最先进的零样本 3D 检测性能，甚至超越了使用真实目标数据的监督域自适应基线方法，并实现了利用模拟数据进行有效 3D 预训练。

ABSTRACT

Domain shifts such as sensor type changes and geographical situation variations are prevalent in Autonomous Driving (AD), which poses a challenge since AD model relying on the previous domain knowledge can be hardly directly deployed to a new domain without additional costs. In this paper, we provide a new perspective and approach of alleviating the domain shifts, by proposing a Reconstruction-Simulation-Perception (ReSimAD) scheme. Specifically, the implicit reconstruction process is based on the knowledge from the previous old domain, aiming to convert the domain-related knowledge into domain-invariant representations, e.g., 3D scene-level meshes. Besides, the point clouds simulation process of multiple new domains is conditioned on the above reconstructed 3D meshes, where the target-domain-like simulation samples can be obtained, thus reducing the cost of collecting and annotating new-domain data for the subsequent perception process. For experiments, we consider different cross-domain situations such as Waymo-to-KITTI, Waymo-to-nuScenes, Waymo-to-ONCE, etc, to verify the zero-shot target-domain perception using ReSimAD. Results demonstrate that our method is beneficial to boost the domain generalization ability, even promising for 3D pre-training.

研究动机与目标

• 解决由于传感器类型变化或地理差异导致的自动驾驶领域偏移问题。
• 实现在无需收集或标注真实目标域数据的情况下，将 3D 感知模型零样本迁移到新领域。
• 减少在新环境中部署模型时对昂贵的真实世界数据采集和人工标注的依赖。
• 探索使用重建和模拟数据进行 3D 预训练的可行性，以提升泛化能力。

提出的方法

• 使用隐式重建方法从源域标注点云中重建 3D 场景级网格，解耦领域特定特征。
• 以重建的 3D 网格为条件，注入目标域特定的 LiDAR 参数和场景属性，实现目标域模拟。
• 生成模仿真实目标域数据分布的合成点云，同时保持结构和语义的真实性。
• 利用模拟数据进行零样本 3D 检测与预训练，避免真实数据的采集与标注。
• 将模拟数据集成到标准 3D 检测流程中（如 PV-RCNN++ 和 SECOND-IOU），用于下游微调。
• 利用关于目标域的最小先验知识（如传感器规格）引导模拟过程。

实验结果

研究问题

• RQ1 从源域数据中进行隐式 3D 重建是否能产生适合零样本迁移的领域不变场景表征？
• RQ2 能否从重建的 3D 网格中模拟出类似目标域的点云，在无需真实数据的情况下实现在未见领域的高性能检测？
• RQ3 与使用真实目标域数据的监督域自适应方法相比，ReSimAD 的效果如何？
• RQ4 ReSimAD 生成的数据是否能有效支持下游感知任务的 3D 预训练？

主要发现

• 在 Waymo-to-nuScenes 零样本检测任务中，ReSimAD 达到 36.45 / 18.94 BEV/AP3D，优于零样本基线（24.57 / 15.12），并接近理想性能（50.54 / 33.41）。
• 在 Waymo-to-KITTI 任务中，ReSimAD 达到 70.57 / 84.50 / 57.06 APBEV/AP3D，展现出无需真实目标数据的强零样本泛化能力。
• 使用 100K 个模拟样本，ReSimAD 实现的 3D 预训练在微调性能上可与使用 100K 真实 ONCE 数据预训练相媲美或更优。
• 该方法在轻量级检测器（如 SECOND-IOU）上也表现出一致的性能提升，表明其在真实系统中的实际适用性。
• 可视化结果表明，ReSimAD 生成的点云能有效保留真实场景结构（如路面和街道布局），优于直接的 CARLA 模拟。
• 隐式重建过程生成的网格比先前方法（如 VDBFusion）更清晰、更连续，从而提升了模拟保真度。