[论文解读] Reducing the Covariate Shift by Mirror Samples in Cross Domain Alignment

Zhao Yin, Minquan Wang+1 more|arXiv (Cornell University)|Oct 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 62被引用 5

一句话总结

本文提出镜像样本——源域样本在目标域中的虚拟对应物——以减少无监督域适应中的协变量偏移，且不扭曲底层数据分布。通过引入一种对齐这些合成镜像对的镜像损失，该方法在多个基准测试中实现了最先进性能，包括在Office-Home数据集上达到73.4%的平均准确率，在USPS→MNIST上达到99.2%，且对距离和权重选择具有鲁棒性。

ABSTRACT

Eliminating the covariate shift cross domains is one of the common methods to deal with the issue of domain shift in visual unsupervised domain adaptation. However, current alignment methods, especially the prototype based or sample-level based methods neglect the structural properties of the underlying distribution and even break the condition of covariate shift. To relieve the limitations and conflicts, we introduce a novel concept named (virtual) mirror, which represents the equivalent sample in another domain. The equivalent sample pairs, named mirror pairs reflect the natural correspondence of the empirical distributions. Then a mirror loss, which aligns the mirror pairs cross domains, is constructed to enhance the alignment of the domains. The proposed method does not distort the internal structure of the underlying distribution. We also provide theoretical proof that the mirror samples and mirror loss have better asymptotic properties in reducing the domain shift. By applying the virtual mirror and mirror loss to the generic unsupervised domain adaptation model, we achieved consistent superior performance on several mainstream benchmarks. Code is available at https://github.com/CTI-VISION/Mirror-Sample

研究动机与目标

• 为解决现有域对齐方法因忽略真实数据分布的结构特性而扭曲底层数据分布的局限性。
• 解决协变量偏移减少中的固有困境：对齐有偏的边缘分布会破坏条件概率在不同域间保持不变的假设。
• 在不破坏真实底层分布完整性的同时，通过一种新颖的结构感知机制提升域对齐。
• 开发一种方法，在不依赖生成建模或显式风格迁移的前提下增强域对齐。
• 为基于镜像的对齐在减少域偏移方面的渐近优越性提供理论依据。

提出的方法

• 提出（虚拟）镜像样本的概念：源域样本在目标域中的合成对应物，代表在相同类别和视觉模式下的等效实例。
• 通过在目标域中为每个源样本寻找k个最近邻来构建镜像对，使用欧氏距离或基于高斯核的距离。
• 提出一种镜像损失，通过正则化模型使每个源样本的特征与其对应镜像样本的特征对齐，最小化两者之间的距离。
• 使用可学习的超参数γ在训练过程中平衡镜像损失与标准交叉熵损失。
• 采用加权镜像样本策略，其中权重与距离成反比，提升对异常邻居的鲁棒性。
• 在标准无监督域适应框架（如带特征提取器的分类头）中应用镜像损失，而不修改主干网络架构。

实验结果

研究问题

• RQ1 镜像样本是否能在不扭曲真实底层数据分布的前提下减少协变量偏移？
• RQ2 对齐镜像对是否能带来更好的泛化能力，并在跨域分类基准上提升性能？
• RQ3 镜像损失对距离度量和邻居加权方案的变化是否具有鲁棒性？
• RQ4 基于镜像的方法是否能在无监督域适应中超越现有的生成方法或样本级对齐方法？
• RQ5 基于镜像的对齐改善渐近行为的理论依据是什么？

主要发现

• 所提方法在Office-Home基准上实现了73.4%的平均准确率，优于先前的最先进方法。
• 在Digits数据集上，USPS→MNIST任务中准确率达到99.2%，超过CoGAN（89.1%）、CyCADA（96.5%）和DRANet（97.8%）。
• 镜像损失对不同距离度量和加权方案具有鲁棒性，在k值、距离类型和权重定义变化时性能下降极小。
• 敏感性分析表明，γ = 1.0在Office-Home和Office-31上均取得最优性能，且在合理范围内（如Office-Home中γ ∈ [1.0, 2.0]）性能可接受。
• t-SNE可视化结果表明，镜像损失能促使源域与目标域之间的聚类结构更加一致且对齐。
• 理论分析支持：镜像样本与镜像损失在减少域偏移方面具有更优的渐近收敛特性。