[论文解读] PointDAN: A Multi-Scale 3D Domain Adaption Network for Point Cloud Representation

Can Qin, Haoxuan You+3 more|arXiv (Cornell University)|Nov 7, 2019

Domain Adaptation and Few-Shot Learning被引用 75

一句话总结

PointDAN 通过在局部多尺度几何特征和全局表示上联合对齐，使用 Self-Adaptive 节点结合节点注意力和对抗/全局 MMD 目标来实现无监督域适应3D点云。它还为跨域3D对象分类提供了一个新的 PointDA-10 基准。

ABSTRACT

Domain Adaptation (DA) approaches achieved significant improvements in a wide range of machine learning and computer vision tasks (i.e., classification, detection, and segmentation). However, as far as we are aware, there are few methods yet to achieve domain adaptation directly on 3D point cloud data. The unique challenge of point cloud data lies in its abundant spatial geometric information, and the semantics of the whole object is contributed by including regional geometric structures. Specifically, most general-purpose DA methods that struggle for global feature alignment and ignore local geometric information are not suitable for 3D domain alignment. In this paper, we propose a novel 3D Domain Adaptation Network for point cloud data (PointDAN). PointDAN jointly aligns the global and local features in multi-level. For local alignment, we propose Self-Adaptive (SA) node module with an adjusted receptive field to model the discriminative local structures for aligning domains. To represent hierarchically scaled features, node-attention module is further introduced to weight the relationship of SA nodes across objects and domains. For global alignment, an adversarial-training strategy is employed to learn and align global features across domains. Since there is no common evaluation benchmark for 3D point cloud DA scenario, we build a general benchmark (i.e., PointDA-10) extracted from three popular 3D object/scene datasets (i.e., ModelNet, ShapeNet and ScanNet) for cross-domain 3D objects classification fashion. Extensive experiments on PointDA-10 illustrate the superiority of our model over the state-of-the-art general-purpose DA methods.

研究动机与目标

• 在局部几何具有语义意义的前提下，推动3D点云数据的域适应。
• 提出一种使用 Self-Adaptive (SA) 节点的局部特征对齐机制，以捕获判别性的局部结构。
• 引入一个节点注意力模块，在对象和域之间对 SA 节点进行加权。
• 通过对抗训练（MCD）应用全局特征对齐，以在域之间对齐全局表示。
• 提供一个新的 PointDA-10 基准，用于评估3D点云域适应方法。

提出的方法

• 具有自适应感受野的 Self-Adaptive (SA) 节点构造，用于捕获节点及其最近k个邻居周围的局部几何。
• 用节点注意力网络对 SA 节点特征进行细化，以对齐时对节点贡献进行加权。
• 局部特征对齐通过类似可变形的偏移学习（使用局部边向量来移动节点位置）来引导（ Eq. 1–4 ）局部特征对齐。
• 使用 MMD 损失在源域与目标域之间对齐 SA 节点特征（Eq. 6）。
• 全局特征对齐使用带有两个分类器的 Maximum Classifier Discrepancy (MCD) 来对齐全局特征（Eq. 7–9）。
• 训练在优化分类器（最大化/不一致目标）与生成器/编码器/节点注意力之间交替进行（最小化包括 L_cls、L_dis 及 L_mmd 的组合损失）。

实验结果

研究问题

• RQ1 是否可以直接对3D点云数据执行无监督域适应，通过跨域对齐局部几何结构和全局表示来实现？
• RQ2 具有节点注意力机制的自适应节点是否能改善3D点云局部特征的跨域对齐？
• RQ3 将局部 SA 节点对齐与全局对抗/不一致基础的对齐相结合，是否比现有的2D DA方法在应用于3D数据时更有效？
• RQ4 所提出的 PointDA-10 基准是否揭示 PointDAN 相较于基线 DA 方法在3D跨域分类上的优势？

主要发现

• PointDAN 在 PointDA-10 的多种自适应情景中，优于通用 DA 基线方法（MMD、ADDA、DANN、MCD）。
• 使用 SA 节点的局部对齐加节点注意力，相较于无 Adapt 或仅使用全局对齐，带来显著提升。
• 具有自适应感受野的 SA 节点更好地捕捉跨域的共同几何结构，有利于迁移。
• 按类别的结果显示对若干类别（如 Monitor、Chair）有改进，但某些类别（如 Sofa、Bed）在UDA下仍具挑战性。
• 收敛性分析表明采用局部对齐时收敛更快/更稳定，且 conv3 中层特征为 SA 节点提供最佳的局部信息。