[论文解读] Optimal Transport for Multi-source Domain Adaptation under Target Shift

Ievgen Redko, Courty, Nicolas+2 more|Socio-Environmental Systems Modeling|Mar 13, 2018

Domain Adaptation and Few-Shot Learning参考文献 26被引用 15

一句话总结

本文提出JCPOT，一种基于最优传输的新型多源域自适应方法，适用于目标分布偏移场景，联合估计无标签目标域中的类别比例并学习域对齐。该方法在合成数据和真实世界卫星图像分类任务中均优于当前最先进方法，相较于基线模型最高实现10%的准确率提升。

ABSTRACT

In this paper, we propose to tackle the problem of reducing discrepancies between multiple domains referred to as multi-source domain adaptation and consider it under the target shift assumption: in all domains we aim to solve a classification problem with the same output classes, but with labels' proportions differing across them. This problem, generally ignored in the vast majority papers on domain adaptation papers, is nevertheless critical in real-world applications, and we theoretically show its impact on the adaptation success. To address this issue, we design a method based on optimal transport, a theory that has been successfully used to tackle adaptation problems in machine learning. Our method performs multi-source adaptation and target shift correction simultaneously by learning the class probabilities of the unlabeled target sample and the coupling allowing to align two (or more) probability distributions. Experiments on both synthetic and real-world data related to satellite image segmentation task show the superiority of the proposed method over the state-of-the-art.

研究动机与目标

• 为解决多源域自适应中常被忽视的关键问题——目标分布偏移，即源域与目标域类别比例不匹配的问题。
• 开发一种方法，同时估计未知的目标域类别比例，并利用最优传输对齐源域与目标域分布。
• 提升在现实应用中的适应性能，特别是遥感领域中空间域间类别不平衡普遍存在的场景。
• 将最优传输框架扩展至无监督目标分布偏移下的多源设置，避免对类别比例先验知识的依赖。

提出的方法

• JCPOT联合优化无标签目标域的类别比例及其与源域分布之间的最优传输耦合。
• 将适应问题建模为Wasserstein质心计算，实现多个源域与单一目标域之间的对齐。
• 利用标签传播技术优化预测结果，提升泛化能力，尤其在低资源目标设置下表现更优。
• 借助最优传输中熵正则化的计算效率，使方法可扩展至高维数据（如卫星图像超像素）。
• 采用可微分目标函数端到端训练框架，平衡域对齐与比例估计的优化目标。
• 避免对目标域类别分布的先验假设，适用于真实世界无监督自适应场景。

实验结果

研究问题

• RQ1 目标分布偏移（特别是源域与目标域类别比例不匹配）如何影响标准域自适应方法的性能？
• RQ2 最优传输能否有效扩展至在目标分布偏移下，同时估计目标域类别比例并实现多源域对齐？
• RQ3 与单独或顺序处理的方法相比，联合估计类别比例与域对齐在多大程度上提升了分类准确率？
• RQ4 在合成数据与真实世界遥感应用中，JCPOT相较于最先进方法表现如何？
• RQ5 该方法能否有效扩展至高维数据（如超高分辨率卫星图像的超像素特征）？

主要发现

• 在Zurich Summer卫星图像数据集上，JCPOT-LP相较于'无自适应'基线模型实现了10%的分类准确率提升。
• JCPOT-LP优于'仅目标'基线模型，证明了在正确自适应后利用多个源域的优越性。
• 在多源合成实验中，JCPOT在第14组配置下取得了0.673的最佳F1分数，优于所有基线方法。
• 随着源域数量的增加，该方法表现出一致的性能增益，证实了其可扩展性与鲁棒性。
• JCPOT的性能与已知类别比例先验知识的方法非常接近，表明其对未知目标分布的估计准确且可靠。
• 在所有评估配置中，JCPOT均取得最先进结果，且JCPOT-LP始终报告最高的F1分数。