[论文解读] Nearest Neighborhood-Based Deep Clustering for Source Data-absent Unsupervised Domain Adaptation

Song Tang, Yan Yang+6 more|arXiv (Cornell University)|Jul 27, 2021

Domain Adaptation and Few-Shot Learning参考文献 54被引用 7

一句话总结

本文提出了一种基于最近邻的深度聚类方法，用于源数据不可用的无监督域自适应（SAUDA），其中仅可访问预训练的源模型。通过利用最近邻上的语义一致性（SCNNH）和语义超最近邻（SHNNH）的几何约束，该方法提升了聚类的鲁棒性，并在大规模 VisDA-C 上相比先前方法实现了 3.0% 的平均准确率提升，达到最先进性能。

ABSTRACT

In the classic setting of unsupervised domain adaptation (UDA), the labeled source data are available in the training phase. However, in many real-world scenarios, owing to some reasons such as privacy protection and information security, the source data is inaccessible, and only a model trained on the source domain is available. This paper proposes a novel deep clustering method for this challenging task. Aiming at the dynamical clustering at feature-level, we introduce extra constraints hidden in the geometric structure between data to assist the process. Concretely, we propose a geometry-based constraint, named semantic consistency on the nearest neighborhood (SCNNH), and use it to encourage robust clustering. To reach this goal, we construct the nearest neighborhood for every target data and take it as the fundamental clustering unit by building our objective on the geometry. Also, we develop a more SCNNH-compliant structure with an additional semantic credibility constraint, named semantic hyper-nearest neighborhood (SHNNH). After that, we extend our method to this new geometry. Extensive experiments on three challenging UDA datasets indicate that our method achieves state-of-the-art results. The proposed method has significant improvement on all datasets (as we adopt SHNNH, the average accuracy increases by over 3.0% on the large-scaled dataset). Code is available at https://github.com/tntek/N2DCX.

研究动机与目标

• 解决由于隐私或安全限制导致源数据不可用时的无监督域自适应挑战。
• 克服基于单个数据点的深度聚类方法易受伪标签错误影响且缺乏鲁棒性的局限。
• 通过利用特征空间中的局部几何结构，提升聚类稳定性。
• 提出一种基于最近邻几何的新聚类目标函数，以增强域自适应性能。
• 证明几何约束在无源数据访问条件下的自监督域自适应中的有效性。

提出的方法

• 提出一种新的几何约束——最近邻上的语义一致性（SCNNH），以在局部数据邻域间强制保持一致的聚类。
• 将聚类从单个数据点重新定义为最近邻组（NNH）作为基本单元，从而提升鲁棒性。
• 引入一种高级结构——语义超最近邻（SHNNH），结合语义可信度约束，以增强聚类的可靠性。
• 构建一个几何感知的目标函数，利用特征空间中的空间邻近性和语义一致性。
• 使用链式搜索机制检测源域样本，并通过迭代优化邻域结构来改进聚类。
• 通过结合伪标签和基于几何的正则化项的自监督目标，端到端训练目标模型。

实验结果

研究问题

• RQ1 从局部数据邻域中提取的几何约束是否能提升源数据不可用的域自适应中的聚类鲁棒性？
• RQ2 与基于单个数据点的聚类相比，以最近邻组为单位进行聚类在准确率和稳定性方面表现如何？
• RQ3 语义可信度和基于交集的检测方法对 SAUDA 中聚类性能有何影响？
• RQ4 当源数据不可用时，基于几何的目标函数是否能优于标准域对齐或伪标签方法？
• RQ5 局部欧几里得结构在深度聚类的自监督域自适应中起到多大作用？

主要发现

• 所提方法在三个基准数据集（Office-31、Office-Home 和 VisDA-C）上均达到最先进性能。
• 在大规模 VisDA-C 数据集上，该方法相比先前最先进方法平均准确率提升超过 3.0%，展现出显著增益。
• 消融实验确认 SCNNH 和 SHNNH 两个组件均至关重要，其中 N2DC-EX 的性能优于移除关键组件（如链式搜索或置信度分组）的变体。
• 完整方法（N2DC-EX）在 Office-31 上达到 90.0% 的准确率，在 Office-Home 上为 73.1%，在 VisDA-C 上为 85.8%，优于所有消融变体。
• 采用 SHNNH 与基于交集的置信度检测（N2DC-EX-Ce/Cd）的设置表现出色，其中 N2DC-EX-Ce 在 Office-31 上达到 89.9% 的准确率，在 VisDA-C 上为 84.6%。
• 该方法在不同规模的数据集上均表现出鲁棒性，无论在小型（Office-31）还是大型（VisDA-C）基准上均实现一致提升。