[论文解读] Optimal Transport Based Distributionally Robust Optimization: Structural Properties and Iterative Schemes

José Blanchet, Karthyek Murthy+1 more|arXiv (Cornell University)|Oct 4, 2018

Risk and Portfolio Optimization参考文献 38被引用 25

一句话总结

本文提出一种基于最优传输的分布鲁棒优化（DRO）框架，采用局部强凸成本函数与仿射决策规则。该框架建立了结构性质——即使原始问题不具备强凸性，DRO问题仍具有强凸性，从而支持高效迭代算法，其样本复杂度与迭代复杂度与随机梯度下降（SGD）相当，在温和条件下实现最优收敛速率。

ABSTRACT

We consider optimal transport based distributionally robust optimization (DRO) problems with locally strongly convex transport cost functions and affine decision rules. Under conventional convexity assumptions on the underlying loss function, we obtain structural results about the value function, the optimal policy, and the worst-case optimal transport adversarial model. These results expose a rich structure embedded in the DRO problem (e.g. strong convexity even if the non-DRO problem was not strongly convex, a suitable scaling of the Lagrangian for the DRO constraint, etc. which are crucial for the design of efficient algorithms). As a consequence of these results, one can develop efficient optimization procedures which have the same sample and iteration complexity as a natural non-DRO benchmark algorithm such as stochastic gradient descent.

研究动机与目标

• 开发一种灵活的DRO框架，利用最优传输与局部强凸成本函数，提升数据驱动优化中的鲁棒性。
• 通过支持高效迭代算法，解决现有DRO方法在大规模数据下的计算局限性。
• 刻画DRO问题的结构性质，包括强凸性与值函数的凸性，即使原始问题不具备这些性质。
• 证明采用马哈拉诺比斯型成本函数的DRO公式可引入隐式正则化，并保持与非DRO基准相当的计算效率。
• 为将DRO扩展至更一般、光滑且强凸的运输成本函数（超越标准Wasserstein距离）奠定基础。

提出的方法

• 基于局部强凸成本函数的最优传输构建DRO问题，通过类似Wasserstein的模糊集建模分布不确定性。
• 应用仿射决策规则将问题转化为有限维优化，实现可计算性。
• 利用凸分析与二阶条件推导值函数与最优策略的结构性质，建立局部强凸性。
• 采用包络定理高效计算随机梯度，支持随机优化方法的应用。
• 通过利用DRO目标函数的强凸性与光滑性，设计迭代算法（如随机梯度下降）。
• 基于渐近正态性与特征值界分析收敛速率，证明迭代序列以速率 $ O_p(k^{-1}) $ 收敛。

实验结果

研究问题

• RQ1 与标准非DRO问题相比，基于最优传输的DRO在局部强凸成本函数下是否能保持或提升计算效率？
• RQ2 当原始问题非强凸时，采用灵活成本函数的DRO公式是否仍能诱导强凸性？
• RQ3 在质量传输方面，最坏情况分布的行为如何？能否在小 $ ilde{ ho} $ 条件下以 $ ilde{O}( ilde{ ho}) $ 形式表征？
• RQ4 随机梯度方法能否有效应用于此类成本函数的DRO问题？其收敛速率如何？
• RQ5 在这些假设下，DRO公式所引出的值函数与最优策略的结构性质（如凸性、光滑性）是什么？

主要发现

• 即使原始问题非强凸，采用局部强凸成本函数的DRO问题在决策变量上仍表现出局部强凸性。
• DRO公式中的最坏情况分布传输的质量量级为 $ O_p( ilde{ ho}) $，其中 $ ilde{ ho} $ 为与不确定性水平相关的微小扰动参数，确保了有意义的对抗行为。
• DRO问题的值函数为凸且连续可微，其Hessian矩阵在 $ ilde{ ho}^{-1/4} $ 范围内有界，支持稳定优化。
• 应用于DRO问题的随机梯度下降以速率 $ O_p(k^{-1}) $ 收敛，与标准非DRO问题的收敛速率一致。
• 最优策略与值函数在局部邻域内联合强凸，确保快速收敛与鲁棒性。
• 该框架通过随机梯度方法实现高效计算，其样本复杂度与迭代复杂度与标准随机梯度下降相同，尽管引入了更强的鲁棒性。