[论文解读] Understanding the Effectiveness of Lipschitz-Continuity in Generative Adversarial Nets

Zhiming Zhou, Yuxuan Song+6 more|arXiv (Cornell University)|Jul 2, 2018

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 8

一句话总结

本文識別出最佳判別器的不可靠梯度是 GAN 訓練失敗的根本原因，特別是在真實資料與生成資料分佈的支撐集不相交時。本文證明，在判別器上強制實施利普希茨連續性可確保梯度指向真實資料，從而保證生成器收斂；這導致了一個更廣泛的合法 GAN 目標家族，超越 Wasserstein GAN，實驗結果顯示樣本品質與訓練穩定性均有所提升。

ABSTRACT

In this paper, we investigate the underlying factor that leads to failure and success in the training of GANs. We study the property of the optimal discriminative function and show that in many GANs, the gradient from the optimal discriminative function is not reliable, which turns out to be the fundamental cause of failure in training of GANs. We further demonstrate that a well-defined distance metric does not necessarily guarantee the convergence of GANs. Finally, we prove in this paper that Lipschitz-continuity condition is a general solution to make the gradient of the optimal discriminative function reliable, and characterized the necessary condition where Lipschitz-continuity ensures the convergence, which leads to a broad family of valid GAN objectives under Lipschitz-continuity condition, where Wasserstein distance is one special case. We experiment with several new objectives, which are sound according to our theorems, and we found that, compared with Wasserstein distance, the outputs of the discriminator with new objectives are more stable and the final qualities of generated samples are also consistently higher than those produced by Wasserstein distance.

研究动机与目标

• 識別 GAN 訓練失敗的根本原因，特別是最佳判別器梯度不可靠的問題。
• 分析為何如 Wasserstein 之類的正確距離度量在支撐集不相交時仍無法保證收斂。
• 建立利普希茨連續性作為一般解，確保判別器梯度能可靠引導生成器朝向真實資料分佈。
• 描述利普希茨連續性確保 GAN 收斂的必要條件。
• 提出並驗證在利普希茨連續性約束下衍生的新 GAN 目標，其樣本品質與訓練穩定性優於 Wasserstein GAN。

提出的方法

• 對標準 GAN 與 Wasserstein GAN 中最佳判別器函數 $f^*$ 及其梯度 $\nabla_x f^*$ 進行理論分析。
• 證明利普希茨連續性可確保在生成樣本處的 $\nabla_x f^*$ 指向真實資料，進而實現收斂。
• 推導在利普希茨連續性約束下的一般合法 GAN 目標家族。
• 提出基於 $\mu$-Fisher IPM 及其他 $f$-散度、在利普希茨約束下的新一類 GAN 目標。
• 在 CIFAR-10、Tiny ImageNet 與 Oxford 102 上進行實證評估，使用 Gulrajani 等人 (2017) 的架構，Adam 優化器與 $\beta_1 = 0.0$。
• 比較不同目標下的判別器輸出與生成樣本，量測訓練穩定性與 FID 分數。

实验结果

研究问题

• RQ1 為何標準 GAN 與甚至 Wasserstein GAN 在真實與生成資料分佈支撐集不相交時會無法收斂？
• RQ2 最佳判別器函數的何種性質可確保其梯度能可靠引導生成器朝向真實資料分佈？
• RQ3 僅具備如 Wasserstein 距離之類的良好定義距離度量是否足以保證 GAN 收斂？是否還需額外約束？
• RQ4 在何種條件下，利普希茨連續性能確保 GAN 收斂？此解法的通用性如何？
• RQ5 在利普希茨連續性約束下衍生的新 GAN 目標是否能在樣本品質與訓練穩定性上超越 Wasserstein GAN？

主要发现

• 當支撐集不相交時，標準 GAN 與甚至 Wasserstein GAN 中最佳判別器的梯度不可靠，因其無法反映真實資料分佈位置的資訊。
• 僅正確度量距離（如透過 Wasserstein）仍不足以保證收斂，若最佳判別器的梯度不可靠。
• 利普希茨連續性是一般性解法，可確保在生成樣本處的 $\nabla_x f^*$ 指向真實資料，從而保證生成器收斂。
• 本文證明利普希茨連續性透過 $f^*$ 在 $P_g$ 與 $P_r$ 間建立強烈連結，使生成器更新方向具有意義。
• 實驗結果顯示，於利普希茨連續性下衍生的新目標產生更穩定的訓練，且生成樣本品質持續優於 Wasserstein GAN。
• 所提出方法超越 Wasserstein GAN，形成廣泛的合法 GAN 目標家族，其中 $\mu$-Fisher IPM 為代表性範例。