[论文解读] Unbalanced minibatch Optimal Transport; applications to Domain Adaptation

Kilian Fatras, Thibault Séjourné+2 more|arXiv (Cornell University)|Mar 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 72被引用 34

一句话总结

本文提出不平衡的小批量最优传输（MBOT）以提高小批量OT的鲁棒性，发展其理论性质，并在标准OT及相关基线之上展示更优的领域自适应性能。

ABSTRACT

Optimal transport distances have found many applications in machine learning for their capacity to compare non-parametric probability distributions. Yet their algorithmic complexity generally prevents their direct use on large scale datasets. Among the possible strategies to alleviate this issue, practitioners can rely on computing estimates of these distances over subsets of data, {\em i.e.} minibatches. While computationally appealing, we highlight in this paper some limits of this strategy, arguing it can lead to undesirable smoothing effects. As an alternative, we suggest that the same minibatch strategy coupled with unbalanced optimal transport can yield more robust behavior. We discuss the associated theoretical properties, such as unbiased estimators, existence of gradients and concentration bounds. Our experimental study shows that in challenging problems associated to domain adaptation, the use of unbalanced optimal transport leads to significantly better results, competing with or surpassing recent baselines.

研究动机与目标

• 激发并解决标准小批量OT在大规模学习和领域自适应中的局限性。
• 在小批量层面引入不平衡OT的形式，以减少虚假的样本配对。
• 提供理论保证：梯度存在性、无偏估计量和集中界。
• 实证表明不平衡MBOT在具有挑战性数据集上的领域自适应性能更为鲁棒。

提出的方法

• 将小批量不平衡OT（UOT）定义为使用 Csiszár 发散对边际约束的松弛。
• 采用一个在所有小批量对上对 UOT 成本取平均的估计器，以及一个不完全（k-样本）估计器以减少计算。
• 证明 UOT 成本的有界性和最优传输的紧致性，从而实现 concentration bounds。
• 通过 Clarke 正则性建立无偏梯度性质，以实现 SGD 优化。
• 证明 MBOT 能减轻小批量中的不良样本耦合，并在可扩展成本下接近不平衡 OT。
• 将 MBOT 框架应用于领域自适应方法（jumbot），在一个不平衡小批量 OT 损失下共同优化嵌入和标签映射。

实验结果

研究问题

• RQ1 在采样和离群点存在下，标准的小批量OT表现如何？放宽边际约束是否可以提高鲁棒性？
• RQ2 小批量不平衡OT 的统计与优化性质是什么（存在性、无偏梯度、集中性）？
• RQ3 不平衡 MBOT 是否能在领域自适应方面提供比平衡 OT 以及其他 OT 变体更好的性能？
• RQ4 MBOT 对基于梯度的学习以及用于领域自适应的大规模神经网络训练的实际影响是什么？
• RQ5 在基准DA数据集（Digits、Office-Home、VisDA）上的不平衡MBOT 相对于最先进方法的表现如何？

主要发现

• 不平衡 MBOT 在小批量层面产生了更鲁棒的传输计划，减少了与标准 MBOT 一同出现的跨类别虚假配对。
• 理论结果确立了有限的 UOT 成本、有界的最优计划以及估计量的集中界，与数据维度无关。
• MBOT 在 Clarke 正则性下提供无偏梯度估计量，使学习模型的 SGD 优化成为可能。
• 在领域自适应问题上的实证研究表明，基于 UOT 的方法可以与最近的基线竞争，甚至超过包括最先进的基于 OT 的方法。
• 从 MBOT 推导的梯度在优化中不会引入偏差，支持神经网络嵌入和分类器的可靠训练。
• 不平衡形式降低了 OT 对离群点和采样的敏感性，在梯度流和 DA 任务中提升稳定性。