[论文解读] PointDAN: A Multi-Scale 3D Domain Adaption Network for Point Cloud Representation

Can Qin, Haoxuan You+3 more|arXiv (Cornell University)|Nov 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 41被引用 93

一句话总结

PointDAN 通过联合对齐全局特征和局部几何结构，使用自适应节点及节点注意力机制进行无监督域适应，同时进行对抗全局对齐和基于 MMD 的稳定化，在新的 PointDA-10 基准上评估。

ABSTRACT

Domain Adaptation (DA) approaches achieved significant improvements in a wide range of machine learning and computer vision tasks (i.e., classification, detection, and segmentation). However, as far as we are aware, there are few methods yet to achieve domain adaptation directly on 3D point cloud data. The unique challenge of point cloud data lies in its abundant spatial geometric information, and the semantics of the whole object is contributed by including regional geometric structures. Specifically, most general-purpose DA methods that struggle for global feature alignment and ignore local geometric information are not suitable for 3D domain alignment. In this paper, we propose a novel 3D Domain Adaptation Network for point cloud data (PointDAN). PointDAN jointly aligns the global and local features in multi-level. For local alignment, we propose Self-Adaptive (SA) node module with an adjusted receptive field to model the discriminative local structures for aligning domains. To represent hierarchically scaled features, node-attention module is further introduced to weight the relationship of SA nodes across objects and domains. For global alignment, an adversarial-training strategy is employed to learn and align global features across domains. Since there is no common evaluation benchmark for 3D point cloud DA scenario, we build a general benchmark (i.e., PointDA-10) extracted from three popular 3D object/scene datasets (i.e., ModelNet, ShapeNet and ScanNet) for cross-domain 3D objects classification fashion. Extensive experiments on PointDA-10 illustrate the superiority of our model over the state-of-the-art general-purpose DA methods.

研究动机与目标

• 直接在3D点云数据上进行域自适应的动机，桥接几何丰富的表示中的跨域差异。
• 开发一个多尺度对齐框架，联合处理局部（多区域）和全局特征分布。
• 引入自适应 (SA) 节点以自适应感受野并捕获跨域对齐的判别性局部结构。
• 引入节点注意力机制，对跨对象和跨域的 SA 节点贡献进行加权。
• 建立一个新的3D DA基准(PointDA-10)，来自ModelNet、ShapeNet、ScanNet用于跨域对象分类。

提出的方法

• 提出带有自适应偏移机制的 SA 节点，由局部边向量引导，动态移动节点位置并重新定义局部区域。
• 通过多层编码器聚合邻域信息来计算节点特征，随后对每个区域做最大池化以得到 SA 节点表示。
• 应用节点注意力网络建模节点之间关系并对它们对对齐目标的贡献进行加权。
• 使用 MMD 将跨域的 SA 节点特征对齐，稳定局部对齐，而不是单纯依赖 GAN 基梯度。
• 结合全局特征对齐使用域对抗/差异化方法 (MCD) 与两个分类器以最大化和最小化跨域对齐的差异。
• 训练分两步：(i) 使用差异损失和源分类损失训练分类器，(ii) 使用差异、分类和 MMD 损失训练编码器/生成器。

实验结果

研究问题

• RQ1 是否可以直接在3D点云数据上有效地进行无监督域自适应，利用局部几何结构以及全局特征对齐？
• RQ2 自适应 (SA) 节点和节点注意力是否改善跨域的局部3D结构对齐？
• RQ3 将局部基于 SA 的对齐与全局基于差异的对齐（MCD）结合，是否超过现有的3D UDA 基线在跨域3D对象分类任务上的表现？

主要发现

• PointDAN 在 PointDA-10 基准的多种适配场景下，优于通用DA方法（MMD、ADDA、DANN、MCD）。
• 在消融研究中，加入 SA 节点并进行局部对齐显著提升性能，节点注意力和全局对齐进一步带来增益。
• 同时使用局部（SA 节点+MMD）和全局（MCD）对齐，在域对对上的平均精度达到最佳。
• 论文显示收敛性优势，并指出基于 conv3 的中间特征在局部对齐中最有效。
• 对贡献最高的 SA 节点的可视化显示匹配的节点对应于语义上有意义的局部几何（如椅子的腿）。