[论文解读] The Cramer Distance as a Solution to Biased Wasserstein Gradients

Marc G. Bellemare, Ivo Danihelka+5 more|arXiv (Cornell University)|May 30, 2017

Geometric Analysis and Curvature Flows参考文献 30被引用 252

一句话总结

本文表明以 Wasserstein 损失的 SGD 存在偏差梯度，可能收敛到错误的极小值，并引入 Cramér 距离作为无偏、几何感知的替代方案，以及一个 Cramér GAN。

ABSTRACT

The Wasserstein probability metric has received much attention from the machine learning community. Unlike the Kullback-Leibler divergence, which strictly measures change in probability, the Wasserstein metric reflects the underlying geometry between outcomes. The value of being sensitive to this geometry has been demonstrated, among others, in ordinal regression and generative modelling. In this paper we describe three natural properties of probability divergences that reflect requirements from machine learning: sum invariance, scale sensitivity, and unbiased sample gradients. The Wasserstein metric possesses the first two properties but, unlike the Kullback-Leibler divergence, does not possess the third. We provide empirical evidence suggesting that this is a serious issue in practice. Leveraging insights from probabilistic forecasting we propose an alternative to the Wasserstein metric, the Cramér distance. We show that the Cramér distance possesses all three desired properties, combining the best of the Wasserstein and Kullback-Leibler divergences. To illustrate the relevance of the Cramér distance in practice we design a new algorithm, the Cramér Generative Adversarial Network (GAN), and show that it performs significantly better than the related Wasserstein GAN.

研究动机与目标

• 激励发展尊重几何并能实现可靠优化的散度的需求。
• 诊断当从样本估计时，Wasserstein 梯度为何会偏倚。
• 引入 Cramér 距离，作为具有无偏样本梯度的理想散度。
• 通过序数回归和 GAN 实验展示 Cramér 距离的实际收益。

提出的方法

• 在尺度敏感性、和为不变性和无偏样本梯度方面定义并比较 KL、Wasserstein 和 Cramér 距离。
• 证明 KL 具有无偏梯度但不具尺度敏感性，而 Wasserstein 理想但缺乏无偏梯度(U)。
• 在伯努利情形中通过理论结果（定理 1）展示 Wasserstein 梯度是有偏的。
• 引入 Cramér 距离并证明其满足尺度不变性(S)、和为不变性(I)以及无偏梯度(U)（定理 2）。
• 通过用学习的 h 转换变量并使用能量距离风格的损失、带梯度惩罚的判别器，提出 Cramér GAN。
• 在序数回归和图像生成方面进行实验，将 Cramér GAN 与 Wasserstein GAN 进行比较。

实验结果

研究问题

• RQ1 在用 SGD 优化时，Wasserstein 梯度是否具有无偏样本梯度？
• RQ2 Cramér 距离是否在保持几何敏感性的同时提供无偏梯度？
• RQ3 在实际学习任务如序数回归和 GANs 中，Cramér 距离相对于 Wasserstein 或 KL 基线有何表现？

主要发现

• 样本 Wasserstein 损失会产生有偏梯度估计，并可能收敛到错误的极小值（定理 1）。
• Cramér 距离具有无偏样本梯度并保留几何信息（定理 2）。
• 在序数回归中，最小化 Cramér 距离可获得更好的 RMSE 和比 Wasserstein 或 KL 基线更低的 Wasserstein 损失。
• Cramér GAN 比 WGAN-GP 产生更为多样的图像补全，训练更稳定，并且独立判别器距离更好。
• 所提出的框架展示了在 ML 应用中使用 Cramér 距离相对于 Wasserstein 的实际优势。