[论文解读] Supervised Domain Adaptation: Were we doing Graph Embedding all along?

Lukas Hedegaard, Omar Ali Sheikh-Omar+1 more|arXiv (Cornell University)|Apr 23, 2020

Domain Adaptation and Few-Shot Learning被引用 1

一句话总结

该论文通过将领域标签建模为内在图和惩罚图中的结构成分，将监督域自适应（DA）重新表述为图嵌入问题。提出了一种通用的DA框架DAGE，通过整合多种图结构来对齐源域和目标域，并引入了更严格的评估协议，以提升Office31和MNIST-USPS数据集上的可复现性与泛化性评估。

ABSTRACT

The performance of machine learning models tends to suffer when the distributions of the training and test data differ. Domain Adaptation is the process of closing the distribution gap between datasets. In this paper, we show that existing Domain Adaptation methods can be formulated as Graph Embedding methods in which the domain labels of samples coming from the source and target domains are incorporated into the structure of the intrinsic and penalty graphs used for the embedding. To this end, we define the underlying intrinsic and penalty graphs for three state-of-the-art supervised domain adaptation methods. In addition, we propose the Domain Adaptation via Graph Embedding (DAGE) method as a general solution for supervised Domain Adaptation, that can be combined with various graph structures for encoding pair-wise relationships between source and target domain data. Moreover, we highlight some generalisation and reproducibility issues related to the experimental setup commonly used to evaluate the performance of Domain Adaptation methods. We propose a new evaluation setup for more accurately assessing and comparing different supervised DA methods, and report experiments on the standard benchmark datasets Office31 and MNIST-USPS.

研究动机与目标

• 解决当训练数据和测试数据分布不一致时机器学习模型性能下降的问题。
• 在统一的图嵌入框架下整合现有的监督域自适应方法。
• 开发一种通用的域自适应方法DAGE，利用图结构建模源域和目标域样本之间的关系。
• 识别并解决标准域自适应评估设置中常见的可复现性和泛化性问题。
• 提出新的评估协议，以实现在基准数据集上对DA方法更公平、更准确的比较。

提出的方法

• 通过将领域标签嵌入到内在图和惩罚图的结构中，将现有最先进监督DA方法形式化为图嵌入问题。
• 为三种领先的DA方法定义底层的内在图和惩罚图，以建立统一的理论框架。
• 提出DAGE（基于图嵌入的域自适应），一种可泛化的算法，通过整合多种图结构来建模源域和目标域样本之间的成对关系。
• 设计一种新的评估设置，通过解决先前工作中常见的实验配置缺陷来提升可复现性。
• 利用标准基准数据集Office31和MNIST-USPS验证所提方法和评估协议。
• 在图构建过程中将领域标签作为结构约束，以指导跨域的特征对齐。

实验结果

研究问题

• RQ1 现有的监督域自适应方法能否在图嵌入框架下实现统一？
• RQ2 如何有效将领域标签编码到内在图和惩罚图的结构中以改善特征对齐？
• RQ3 在更严格的评估协议下，所提出的DAGE方法相较于最先进DA方法的性能如何？
• RQ4 当前DA研究中的评估设置在多大程度上损害了可复现性和泛化性评估？
• RQ5 统一的基于图的框架能否提升域自适应方法的可解释性和有效性？

主要发现

• 现有的监督域自适应方法可被正式解释为图嵌入技术，其中领域标签被嵌入到内在图和惩罚图的结构中。
• 当与适当的图结构结合时，所提出的DAGE方法在Office31和MNIST-USPS上实现了具有竞争力的性能，证明了基于图的框架的有效性。
• 新的评估设置揭示了先前实验设置中存在显著的可复现性问题，尤其体现在数据划分和超参数选择方面。
• 研究表明，标准评估协议常因配置不一致或不可复现而导致性能估计过于乐观。
• 将领域标签整合到图结构中，能够实现更鲁棒且可解释的跨域特征对齐。
• 在Office31和MNIST-USPS上的实证结果证实，所提出的框架提升了泛化能力，并为未来DA研究提供了更可靠的基准。