[论文解读] Zero-shot Domain Adaptation Based on Attribute Information

Masato Ishii, Takashi Takenouchi+1 more|arXiv (Cornell University)|Oct 15, 2019

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

该论文提出了一种零样本域自适应方法，利用已知的属性先验来重新加权源数据，以提升对未见目标域的泛化能力，且无需任何目标数据。该方法在理论上优于基线属性-based重加权方法，在样本级迁移能力估计方面表现更优，在合成数据集和基准数据集上均取得了优异性能。

ABSTRACT

In this paper, we propose a novel domain adaptation method that can be applied without target data. We consider the situation where domain shift is caused by a prior change of a specific factor and assume that we know how the prior changes between source and target domains. We call this factor an attribute, and reformulate the domain adaptation problem to utilize the attribute prior instead of target data. In our method, the source data are reweighted with the sample-wise weight estimated by the attribute prior and the data themselves so that they are useful in the target domain. We theoretically reveal that our method provides more precise estimation of sample-wise transferability than a straightforward attribute-based reweighting approach. Experimental results with both toy datasets and benchmark datasets show that our method can perform well, though it does not use any target data.

研究动机与目标

• 解决在无任何目标数据可用的零样本域自适应中的域偏移问题。
• 利用已知的属性先验——在源域和目标域之间系统性变化的因素——来指导模型自适应。
• 开发一种源数据重加权策略，以提升向目标域的迁移能力。
• 从理论上证明所提重加权方法优于简单属性-based方法的优越性。
• 在零样本设置下，于玩具数据集和基准数据集上对方法进行实证验证。

提出的方法

• 该方法将域偏移建模为源域和目标域之间特定属性因子的变化。
• 利用已知的属性先验和源数据的属性值估计样本级权重。
• 根据估计的迁移能力对源样本进行重加权，以使其与目标域分布对齐。
• 理论证明该重加权机制在迁移能力估计上比直接基于属性的重加权更准确。
• 该方法无需目标数据，仅依赖源数据和已知的属性先验。
• 该方法被应用于分类和表示学习任务，以评估其泛化能力。

实验结果

研究问题

• RQ1 能否通过利用已知的属性先验，在不使用任何目标数据的情况下实现有效的域自适应？
• RQ2 所提出的重加权策略在迁移能力估计精度方面与朴素的属性-based重加权方法相比如何？
• RQ3 该方法在不同数据集和域偏移场景下是否具有良好的泛化能力？
• RQ4 所提框架中更优的样本级迁移能力估计的理论依据是什么？
• RQ5 在零样本域自适应设置下，该方法在基准数据集上的表现如何？

主要发现

• 尽管未使用任何目标数据，该方法在玩具数据集和基准数据集上均取得了优异性能。
• 理论分析证实，该方法在样本级迁移能力估计上比直接基于属性的重加权更精确。
• 该方法在无需目标域样本的情况下，能有效处理由特定属性因子变化引起的域偏移。
• 实证结果表明，在零样本域自适应设置下，该方法相对于基线方法实现了持续改进。
• 该方法在不同数据分布和属性偏移模式下均表现出鲁棒性。
• 通过在多个基准数据集上的全面实验，验证了该方法的有效性。