[论文解读] VDM-DA: Virtual Domain Modeling for Source Data-free Domain Adaptation

Jiayi Tian, Jing Zhang+2 more|arXiv (Cornell University)|Mar 26, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用 9

一句话总结

该论文提出VDM-DA，一种新颖的无源数据无监督域自适应方法，通过在特征空间中利用高斯混合模型（GMM）构建虚拟域，无需访问原始源数据即可弥合源域与目标域之间的分布差距。通过采用不确定性引导策略将目标域对齐至该虚拟域，VDM-DA在2D图像与3D点云基准上均取得了最先进性能。

ABSTRACT

Domain adaptation aims to leverage a label-rich domain (the source domain) to help model learning in a label-scarce domain (the target domain). Most domain adaptation methods require the co-existence of source and target domain samples to reduce the distribution mismatch, however, access to the source domain samples may not always be feasible in the real world applications due to different problems (e.g., storage, transmission, and privacy issues). In this work, we deal with the source data-free unsupervised domain adaptation problem, and propose a novel approach referred to as Virtual Domain Modeling (VDM-DA). The virtual domain acts as a bridge between the source and target domains. On one hand, we generate virtual domain samples based on an approximated Gaussian Mixture Model (GMM) in the feature space with the pre-trained source model, such that the virtual domain maintains a similar distribution with the source domain without accessing to the original source data. On the other hand, we also design an effective distribution alignment method to reduce the distribution divergence between the virtual domain and the target domain by gradually improving the compactness of the target domain distribution through model learning. In this way, we successfully achieve the goal of distribution alignment between the source and target domains by training deep networks without accessing to the source domain data. We conduct extensive experiments on benchmark datasets for both 2D image-based and 3D point cloud-based cross-domain object recognition tasks, where the proposed method referred to Domain Adaptation with Virtual Domain Modeling (VDM-DA) achieves the state-of-the-art performances on all datasets.

研究动机与目标

• 解决在隐私、存储或传输限制下无法访问原始源数据时，无监督域自适应中的域偏移挑战。
• 克服现有无源数据无监督域自适应方法依赖复杂数据生成或易出错自训练的局限性。
• 提出一种通用且无需超参数调优的虚拟域建模方法，以在特征空间中保持源域分布特性。
• 通过一种新颖的不确定性引导分布对齐策略，提升目标域的紧凑性并增强与虚拟域的对齐程度。
• 在无需访问源数据的前提下，实现对2D图像与3D点云等多样化模态的有效域自适应。

提出的方法

• 在高层特征空间中构建虚拟域，使用在预训练源模型特征上训练的高斯混合模型（GMM），且无需访问原始源数据。
• 通过利用预训练源模型中的隐含信息来近似未知的GMM参数，避免引入额外可学习参数。
• 通过调节超参数λ来控制类内方差，生成具有可控紧凑性与多样性的虚拟域样本。
• 引入一种不确定性感知的分布对齐模块，通过选择性地对高置信度预测进行对齐，增强目标域的类内紧凑性。
• 通过联合减小源域与虚拟域之间以及虚拟域与目标域之间的分布差距，最小化域差异。
• 通过在目标域预测上使用交叉熵损失，并结合不确定性引导对齐的的一致性正则化，端到端训练最终分类器。

实验结果

研究问题

• RQ1 能否在不访问原始源数据的前提下，有效在特征空间中建模虚拟域，以保持源域的统计分布特性？
• RQ2 当无法获取源数据时，如何将目标域与虚拟域对齐以减少分布差异？
• RQ3 与标准域对齐方法相比，不确定性引导对齐策略是否能显著提升目标域的类内紧凑性与泛化能力？
• RQ4 所提出的VDM-DA框架能否在无源数据设置下，泛化至2D图像与3D点云等不同数据模态？
• RQ5 该方法对超参数选择（特别是控制虚拟域样本方差的λ）的鲁棒性如何？

主要发现

• VDM-DA在所有2D图像与3D点云跨域物体识别基准数据集上均实现了最先进性能。
• 在VisDA17数据集上，当λ = 6时，VDM-DA达到85.1%的top-1准确率，表明其在λ值从4到10的范围内均表现出强鲁棒性。
• t-SNE可视化结果表明，虚拟域样本与真实源域样本高度对齐，且分类分离效果优于原始源数据。
• 不确定性感知对齐策略显著提升了目标域的紧凑性，使表示更加类集中，优于基线的朴素对齐方法。
• 由于虚拟域稳定且更有效地保留了源域分布特性，该方法在大域偏移场景下显著优于基线SFUDA方法（如SHOT）。
• 消融实验表明，虚拟域构建与不确定性引导对齐均为实现最优性能的关键组件，二者均对提升域对齐效果与分类准确率有显著贡献。