[论文解读] Wasserstein Distributionally Robust Optimization: Theory and Applications in Machine Learning

Daniel Kühn, Peyman Mohajerin Esfahani+2 more|arXiv (Cornell University)|Aug 23, 2019

Probabilistic and Robust Engineering Design参考文献 109被引用 17

一句话总结

本文提出 Wasserstein 分布式鲁棒优化（WDRO）作为一种数据驱动的不确定性决策框架，利用 Wasserstein 距离在经验分布周围定义模糊集。研究表明，WDRO 可导致可处理的凸优化问题，并提供强大的泛化性能保证，同时在机器学习中启用新的正则化学习方法。

ABSTRACT

Many decision problems in science, engineering and economics are affected by uncertain parameters whose distribution is only indirectly observable through samples. The goal of data-driven decision-making is to learn a decision from finitely many training samples that will perform well on unseen test samples. This learning task is difficult even if all training and test samples are drawn from the same distribution -- especially if the dimension of the uncertainty is large relative to the training sample size. Wasserstein distributionally robust optimization seeks data-driven decisions that perform well under the most adverse distribution within a certain Wasserstein distance from a nominal distribution constructed from the training samples. In this tutorial we will argue that this approach has many conceptual and computational benefits. Most prominently, the optimal decisions can often be computed by solving tractable convex optimization problems, and they enjoy rigorous out-of-sample and asymptotic consistency guarantees. We will also show that Wasserstein distributionally robust optimization has interesting ramifications for statistical learning and motivates new approaches for fundamental learning tasks such as classification, regression, maximum likelihood estimation or minimum mean square error estimation, among others.

研究动机与目标

• 解决当随机参数的真实分布未知且仅能通过有限训练样本观测到时的不确定性决策问题。
• 开发一种鲁棒优化框架，通过使用 Wasserstein 距离定义模糊集，来考虑训练数据与测试数据之间的分布偏移。
• 为 WDRO 方法得出的决策提供理论一致性及泛化性能保证。
• 展示 WDRO 在分类、回归和估计等基础机器学习任务中的适用性。

提出的方法

• 使用观测数据点上的离散均匀测度，从训练样本中构建名义经验分布。
• 通过在名义分布的指定 Wasserstein 距离范围内定义概率分布的模糊集，来建模分布不确定性。
• 将 WDRO 问题表述为极大极小优化问题：在模糊集内所有分布中最小化最坏情况下的期望损失。
• 利用共轭对偶性和支撑函数，推导出 WDRO 问题的可处理凸重构，从而实现高效计算。
• 利用 Wasserstein 模糊集的对偶表示，将鲁棒优化问题转化为正则化的经验风险最小化问题。
• 通过推导出继承鲁棒性和一致性特性的新型正则化估计器，将该框架应用于各种机器学习任务。

实验结果

研究问题

• RQ1 如何构建一种鲁棒决策框架，使其在真实数据分布与经验分布不同时仍保持有效性？
• RQ2 从 WDRO 得出的决策具有怎样的理论一致性与泛化性能保证？
• RQ3 与最大似然估计或最小均方误差估计等经典方法相比，WDRO 在鲁棒性和泛化能力方面表现如何？
• RQ4 WDRO 是否可重述为正则化学习问题？其对应的正则化惩罚项是什么？
• RQ5 WDRO 对分类、回归和密度估计等基础学习任务有何影响？

主要发现

• WDRO 导致可处理的凸优化问题，即使在高维设置下也可高效求解。
• 在弱正则性条件下，WDRO 的最优决策具有严格的泛化性能和渐近一致性保证。
• WDRO 问题可重述为正则化的经验风险最小化问题，其中正则化项对应于基于 Wasserstein 距离的惩罚。
• 对于特定损失函数（如逻辑损失或平方损失），WDRO 构造出新的正则化估计器，可提升泛化性能。
• 该框架通过考虑名义分布中的估计误差，为缓解优化器诅咒提供了合理的方法。
• 使用 Wasserstein 距离作为分布差异度量，相较于标准经验风险最小化，可显著提升分类和回归任务中的鲁棒性。