[论文解读] Normalized Wasserstein Distance for Mixture Distributions with Applications in Adversarial Learning and Domain Adaptation

Yogesh Balaji, Rama Chellappa+1 more|arXiv (Cornell University)|Feb 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 21被引用 7

一句话总结

本文提出了一种归一化Wasserstein（NW）距离，这是一种新颖的最优传输度量，通过在距离计算过程中优化混合权重，解决了多模态分布中混合比例不平衡的问题。通过引入具有共享组件但可学习比例的中间分布，NW在生成对抗网络（GANs）、域自适应和对抗聚类中显著提升了性能——在不平衡MNIST数据集上，目标域损失降低了42%，聚类纯度达到98%。

ABSTRACT

Understanding proper distance measures between distributions is at the core of several learning tasks such as generative models, domain adaptation, clustering, etc. In this work, we focus on mixture distributions that arise naturally in several application domains where the data contains different sub-populations. For mixture distributions, established distance measures such as the Wasserstein distance do not take into account imbalanced mixture proportions. Thus, even if two mixture distributions have identical mixture components but different mixture proportions, the Wasserstein distance between them will be large. This often leads to undesired results in distance-based learning methods for mixture distributions. In this paper, we resolve this issue by introducing the Normalized Wasserstein measure. The key idea is to introduce mixture proportions as optimization variables, effectively normalizing mixture proportions in the Wasserstein formulation. Using the proposed normalized Wasserstein measure leads to significant performance gains for mixture distributions with imbalanced mixture proportions compared to the vanilla Wasserstein distance. We demonstrate the effectiveness of the proposed measure in GANs, domain adaptation and adversarial clustering in several benchmark datasets.

研究动机与目标

• 解决标准Wasserstein距离在测量具有不平衡成分比例的混合分布之间距离时的局限性。
• 克服由于严格边缘约束导致相同成分但不同比例的分布产生较大Wasserstein距离的问题。
• 开发一种对混合比例进行归一化的距离度量，以更好地反映多模态数据中的结构相似性。
• 在模式不平衡条件下，证明所提度量在生成建模、域自适应和聚类中的有效性。
• 通过在训练过程中优化生成器混合权重，实现解耦表示学习并提升聚类性能。

提出的方法

• 将归一化Wasserstein（NW）度量定义为输入分布到两个具有共享生成器但优化混合权重的中间混合分布的Wasserstein距离之和。
• 将NW度量表述为对生成器和混合比例的最小化问题：$ W_N(P_X, P_Y) = \min_{\mathbf{G}, \pi^{(1)}, \pi^{(2)}} W(P_X, P_{\mathbf{G}, \pi^{(1)}}) + W(P_Y, P_{\mathbf{G}, \pi^{(2)}}) $。
• 引入正则化项 $ R = \sum_{i>j} \pi_i \pi_j W(\mathbf{G}_i(Z), \mathbf{G}_j(Z)) $，以鼓励生成器输出的模式多样性。
• 训练一个NW-GAN模型，其中混合比例 $ \pi $ 与生成器端到端联合优化，实现解耦生成。
• 通过构建具有平衡比例的中间分布，利用NW度量指导域自适应，减少错误匹配。
• 在对抗聚类中应用NW度量，将数据点分配给最近的模式，同时通过正则化项确保模式多样性。

实验结果

研究问题

• RQ1 当测量具有相同成分但不同混合比例的混合分布之间的距离时，标准Wasserstein距离为何会失效？
• RQ2 在距离计算过程中优化混合比例，是否能为不平衡多模态分布提供更具意义的相似性度量？
• RQ3 所提出的归一化Wasserstein度量在模式不平衡条件下的GAN训练、域自适应和聚类任务中，性能提升程度如何？
• RQ4 在缺乏先验知识的情况下，如何可靠地使用NW度量估计模式数量 $ k $ ？
• RQ5 NW度量是否能在无显式监督的情况下，实现生成模型中的解耦表示学习？

主要发现

• 与基线Wasserstein GAN相比，所提出的归一化Wasserstein度量在域自适应中将目标域损失降低了42%。
• 在包含数字2、4和6的不平衡MNIST数据集上，基于NW的聚类方法达到98%的聚类纯度，优于k-means（82%）和GMM（75%）。
• NW-GAN模型成功学习了解耦表示：当混合权重 $ \pi $ 被优化时，生成器产生不同的模式（如CIFAR-10或CelebA），而固定 $ \pi $ 则导致模式混合。
• 模式数量选择算法经实证验证：$ k^* = 9 $ 被确定为NW度量趋于饱和且从 $ k-1 $ 到 $ k $ 的下降幅度最大的最小 $ k $ 值。
• 正则化项 $ R $ 有效促进了生成模式之间的多样性，防止模式崩溃，并在对抗聚类中实现稳定训练。
• NW度量在所有评估任务中均达到最先进性能——包括GAN、域自适应和聚类，尤其在模式不平衡条件下表现出强鲁棒性和泛化能力。