[论文解读] On Linear Optimization over Wasserstein Balls

Man–Chung Yue, Daniel Kühn+1 more|arXiv (Cornell University)|Apr 15, 2020

Risk and Portfolio Optimization参考文献 23被引用 4

一句话总结

本文在较弱的矩条件下方建立了 Wasserstein 球的弱紧致性，并为线性优化中最优解的存在性提供了易于验证的必要与充分条件。当参考测度为离散时，进一步刻画了最优解的稀疏性。该研究提供了自包含、简洁且严谨的分析，相较于先前在分布鲁棒优化与机器学习领域的研究有所改进。

ABSTRACT

Wasserstein balls, which contain all probability measures within a pre-specified Wasserstein distance to a reference measure, have recently enjoyed wide popularity in the distributionally robust optimization and machine learning communities to formulate and solve data-driven optimization problems with rigorous statistical guarantees. In this technical note we prove that the Wasserstein ball is weakly compact under mild conditions, and we offer necessary and sufficient conditions for the existence of optimal solutions. We also characterize the sparsity of solutions if the Wasserstein ball is centred at a discrete reference measure. In comparison with the existing literature, which has proved similar results under different conditions, our proofs are self-contained and shorter, yet mathematically rigorous, and our necessary and sufficient conditions for the existence of optimal solutions are easily verifiable in practice.

研究动机与目标

• 在最小假设下建立 Wasserstein 球的弱紧致性，以确保分布鲁棒优化中最优解的存在性。
• 推导出在 Wasserstein 球上进行线性优化时最优值有限且可实现的必要与充分条件。
• 当参考测度为离散时，刻画最优解的稀疏性，特别是确定所需的最少原子数。
• 提供一个自包含、简洁且数学上严谨的证明，其验证难度低于以往方法。
• 通过澄清 Wasserstein 球形式化的分析基础，为数据驱动优化提供严格的统计保证。

提出的方法

• 利用 Prokhorov 定理与紧致性论证，证明在参考测度 $\nu$ 具有有限 $p$-阶矩的假设下，Wasserstein 球 $\mathcal{B}_r(\nu)$ 的弱紧致性。
• 证明目标泛函 $\int_X f(x) \, d\mu(x)$ 在可行集上是弱上半连续的，从而可应用紧致性论证。
• 利用三角不等式与 Wasserstein 距离的性质，表明当 $\nu$ 具有有限 $p$-阶矩时，$\mathcal{B}_r(\nu)$ 中所有测度的 $p$-阶矩均一致有界。
• 应用 Prokhorov 定理，得出可行集的弱紧致性，从而在最优值有限时保证最优解的存在性。
• 通过证明在给定条件下，当参考测度为离散时，最优解的支撑集至多包含 $N+1$ 个原子，从而刻画最优解的稀疏性。
• 依赖测度论工具与附录中无穷维线性规划的结果，支持主定理的证明，而无需引入复杂的对偶性或最优性条件。

实验结果

研究问题

• RQ1 在何种条件下，Wasserstein 球 $\mathcal{B}_r(\nu)$ 是弱紧致的？
• RQ2 线性优化在 Wasserstein 球上最优值有限且可实现的必要与充分条件是什么？
• RQ3 当参考测度为离散时，支持最优解所需的最少原子数是多少？
• RQ4 如何在最小假设与最大数学清晰度下建立最优解的存在性与稀疏性？
• RQ5 能否为基于 Wasserstein 的优化中的存在性与稀疏性结果构建一个自包含且简洁的证明，避免依赖复杂的对偶理论？

主要发现

• 当参考测度 $\nu$ 具有有限 $p$-阶矩时，Wasserstein 球 $\mathcal{B}_r(\nu)$ 是弱紧致的。
• 线性优化问题 (3) 的最优值有限，当且仅当积分 $\int_X [f(x)]_+ \, d\nu(x)$ 有限。
• 当最优值有限时，存在最优解，且由于紧致性与弱闭性，可行集是弱紧致的。
• 若参考测度 $\nu$ 为具有 $N$ 个原子的离散测度，则存在一个支撑集至多包含 $N+1$ 个原子的最优解。
• 最优解存在性的必要与充分条件在实践中易于验证，而不同于以往结果所需的更复杂假设。
• 该证明自包含、更短且更易理解，避免了对高级对偶理论或 Richter-Rogosinski 定理的依赖。