[论文解读] Self-Supervised Learning for Domain Adaptation on Point-Clouds

Idan Achituve, Haggai Maron+1 more|arXiv (Cornell University)|Mar 29, 2020

Human Pose and Action Recognition参考文献 69被引用 33

一句话总结

该论文提出 Deformation Reconstruction (DefRec)，一种用于点云领域自监督学习的域自适应任务，以及 Point Cloud Mixup (PCM)，在 PointDA-10 上达到最新的结果并提出一个新的 PointSegDA 基准。

ABSTRACT

Self-supervised learning (SSL) is a technique for learning useful representations from unlabeled data. It has been applied effectively to domain adaptation (DA) on images and videos. It is still unknown if and how it can be leveraged for domain adaptation in 3D perception problems. Here we describe the first study of SSL for DA on point clouds. We introduce a new family of pretext tasks, Deformation Reconstruction, inspired by the deformations encountered in sim-to-real transformations. In addition, we propose a novel training procedure for labeled point cloud data motivated by the MixUp method called Point cloud Mixup (PCM). Evaluations on domain adaptations datasets for classification and segmentation, demonstrate a large improvement over existing and baseline methods.

研究动机与目标

• 让研究动机并理解自监督学习（SSL）如何帮助三维点云的域自适应（DA）。
• 开发一系列面向点云从仿真到现实常见形变的 SSL 预训练任务（DefRec）。
• 提出 Point Cloud Mixup (PCM) 方法来增强源域的有标注数据。
• 通过分类和分割基准实验证明 DefRec 和 PCM 能在基线之上提升 DA 性能。
• 对形变类型、消融研究以及 DefRec 设计的实用指南进行分析。

提出的方法

• 提出一个多任务架构，包含一个共享的点云编码器 Φ 和两个头部：h_sup 用于有监督的源域任务，h_SSL 用于对两个域的 SSL 重建。
• 引入 DefRec，一系列在点云区域进行形变并需要使用 Chamfer distance 作为 SSL 损失来重建原始区域的预训练任务。
• 描述 DefRec 的三种区域形变方案：体积基、特征基和采样基形变，每种方案都选择要形变和重建的区域。
• 引入 Point Cloud Mixup (PCM)，一种类似 Mixup 的过程，通过从一个云中采样 γn 个点、从另一个云中采样 (1−γ)n 个点来创建一个新的带标签的点云，标签线性混合。
• 将总体损失定义为源域有监督损失的加权和（或通过 PCM 进行增强后再计算有监督损失）与对被扰动样本的 SSL 重建损失之和。
• 在目标数据上主要应用 DefRec 以缩小域差距，并显示将 PCM 与 DefRec 结合时可提升基线性能。

实验结果

研究问题

• RQ1 如何为点云的域自适应设计 SSL 预训练任务？
• RQ2 与现有点云的 SSL 任务相比，基于形变的重建任务（DefRec 是否更有效地弥合源/目标分布差异？
• RQ3 对点云的 Mixup 基策略（PCM）是否能与 DefRec 互补，以及在分类和分割任务上的性能影响？
• RQ4 不同的 DefRec 形变方案（体积基、特征基、采样基）对 DA 性能有何影响？
• RQ5 DefRec 能否扩展到分割任务，在 PointSegDA 上表现如何？

主要发现

• DefRec 及 DefRec+PCM 在六个 PointDA-10 适配场景上均优于强基线，DefRec+PCM 取得最佳整体表现。
• 与最佳基线相比，DefRec+PCM 的准确率平均提升约 5 个百分点，相较 PointDAN 提升约 5.5 点。
• 体积基、特征基和采样基 DefRec 变体展现出不同的优劣，体积基形变通常能带来较强的结果；中等尺度的区域形变往往更有效。
• 将 DefRec 应用于目标数据（可选在源数据上使用 PCM）可在仿真到现实和跨数据集的适配中取得显著增益。
• DefRec 可扩展到分割任务；DefRec+PCM 也在 PointSegDA 的分割 mean IoU 上优于基线。