[论文解读] Wasserstein Distributional Robustness and Regularization in Statistical Learning.

Rui Gao, Xi Chen+1 more|arXiv (Cornell University)|Dec 17, 2017

Risk and Portfolio Optimization参考文献 48被引用 89

一句话总结

本文提出了一种基于Wasserstein距离的分布鲁棒优化框架，以增强统计学习中的泛化能力。研究证明，Wasserstein分布鲁棒性在渐近意义上等价于带有梯度范数惩罚的正则化，为高维、非凸问题（包括通过Wasserstein GANs的深度学习）提供了有原则的正则化方法。

ABSTRACT

A central question in statistical learning is to design algorithms that not only perform well on training data, but also generalize to new and unseen data. In this paper, we tackle this question by formulating a distributionally robust stochastic optimization (DRSO) problem, which seeks a solution that minimizes the worst-case expected loss over a family of distributions that are close to the empirical distribution in Wasserstein distances. We establish a connection between such Wasserstein DRSO and regularization. More precisely, we identify a broad class of loss functions, for which the Wasserstein DRSO is asymptotically equivalent to a regularization problem with a gradient-norm penalty. Such relation provides new interpretations for problems involving regularization, including a great number of statistical learning problems and discrete choice models (e.g. multinomial logit). The connection suggests a principled way to regularize high-dimensional, non-convex problems. This is demonstrated through the training of Wasserstein generative adversarial networks in deep learning.

研究动机与目标

• 解决统计学习中超越训练数据的泛化挑战。
• 在分布不确定性下，开发一种有原则的鲁棒优化框架。
• 建立分布鲁棒优化与正则化之间的理论联系。
• 为多项式对数几率模型和深度神经网络等模型中的正则化提供新解释。
• 在深度学习中展示该框架的实际效用，特别是在训练Wasserstein GANs方面。

提出的方法

• 构建一个分布鲁棒随机优化（DRSO）问题，通过在经验分布周围的Wasserstein球内最小化最坏情况下的期望损失。
• 识别出一类损失函数，使得DRSO问题在渐近意义上等价于带有梯度范数惩罚的正则化问题。
• 利用最优传输和经验过程理论的工具，推导DRSO与正则化之间的渐近等价性。
• 通过展示其在训练Wasserstein GANs中的相关性，将理论框架应用于深度学习。
• 证明Wasserstein DRSO所诱导的鲁棒性在高维、非凸设置下自然导致隐式正则化。
• 提供一个统一视角，将现有正则化技术解释为在Wasserstein度量下由分布鲁棒性所引发的结果。

实验结果

研究问题

• RQ1 通过Wasserstein距离实现的分布鲁棒性如何改善统计学习中的泛化？
• RQ2 分布鲁棒优化与正则化之间的理论联系是什么？
• RQ3 在哪些损失函数类别下，Wasserstein距离下的分布鲁棒性会导致梯度范数正则化？
• RQ4 该框架能否应用于非凸、高维问题，如深度神经网络？
• RQ5 该方法如何增强生成建模（如Wasserstein GANs）中的训练稳定性和性能？

主要发现

• 对于一类广泛的损失函数，Wasserstein DRSO问题在渐近意义上等价于带有梯度范数惩罚的正则化问题。
• 该等价性为将正则化解释为Wasserstein度量下的分布鲁棒性形式提供了有原则的解释。
• 该框架为理解与设计离散选择模型（如多项式对数几率模型）中的正则化提供了新的理论基础。
• 该方法通过隐式正则化模型的梯度行为，实现在高维、非凸问题中的鲁棒泛化。
• 该方法在深度学习中提升了训练稳定性和性能，如在Wasserstein GANs训练中所展示的。
• 理论结果表明，通过Wasserstein距离实现的分布鲁棒性自然诱导正则化，从而增强模型泛化能力。