[论文解读] Pseudomonotone Stochastic Variational Inequality Problems: Analysis and Stochastic Approximation Schemes

Aswin Kannan, Uday V. Shanbhag|arXiv (Cornell University)|Oct 7, 2014

Risk and Portfolio Optimization参考文献 59被引用 5

一句话总结

该论文为伪单调随机变分不等式问题（PSVIs）建立了无需积分的存在性与唯一性条件，提出了在伪单调性条件下几乎必然收敛的外梯度和镜像逼近随机逼近算法，并在更强条件下建立了均方误差的最优收敛速率 O(1/K)，将先前结果拓展至单调性之外的范畴。

ABSTRACT

The variational inequality problem represents an effective tool for capturing a range of phenomena arising in engineering, economics, and applied sciences. Prompted by the role of uncertainty, recent efforts have considered both the analysis as well as the solution of the associated stochastic variational inequality problem where the map is expectation-valued. Yet, a majority of the studies have been restricted to regimes where the map is monotone. This work is motivated by the growing interest in pseudomonotone stochastic variational inequality problems (PSVIs); such problems emerge from product pricing, fractional optimization problems, and subclasses of economic equilibrium problems arising in uncertain regimes. In this paper, we first observe that a direct application of standard existence/uniqueness theory requires a tractable expression for the integrals arising from the expectation. Instead, we develop integration- free sufficiency conditions for the existence and uniqueness of solutions to PSVIs. We consider the solution of PSVIs via stochastic approximation (SA) schemes, motivated by the observation that almost all of the prior SA schemes can accommodate monotone SVIs. Under various forms of pseudomonotonicity, we prove that the solution iterates produced by extragradient SA schemes converge to the solution set in an almost sure sense. This result is further extended to mirror-prox regimes and an analogous statement is also provided for monotone regimes under a weak-sharpness requirement. Under stronger conditions, we derive the optimal initial steplength and show that the mean-squared error in the solution iterates produced by the extragradient SA scheme converges at the optimal rate of O(1/K). Finally, both the asymptotics and the empirical rates of the schemes are studied on a set of pseudomonotone and non-monotone variational problems.

研究动机与目标

• 解决伪单调随机变分不等式（PSVIs）缺乏理论工具的问题，这类问题出现在具有不确定性的经济与工程系统中。
• 克服标准存在性理论在 PSVIs 中对期望积分表达式可计算性的依赖限制。
• 开发随机逼近算法——特别是外梯度与镜像逼近方法——在伪单调性条件下几乎必然收敛至解集。
• 在更强假设下，建立均方误差的最优收敛速率 O(1/K)，包括最优初始步长选择。
• 通过数值实验验证渐近收敛性与在伪单调与非单调测试问题上的经验收敛速率。

提出的方法

• 提出无需积分的存在性与唯一性解的充分条件，避免对期望积分进行显式计算。
• 在各种伪单调性假设下，提出用于求解 PSVIs 的外梯度随机逼近算法。
• 利用鞅收敛论证与伪单调性性质，证明解迭代序列几乎必然收敛至解集。
• 将收敛结果推广至镜像逼近算法，并在单调情形下于弱锐性条件下建立类似收敛性。
• 推导最优初始步长，并在强伪单调性与利普希茨连续性条件下证明均方误差以最优速率 O(1/K) 衰减。
• 通过数值实验评估渐近行为与在一系列伪单调与非单调问题上的经验收敛速率。

实验结果

研究问题

• RQ1 能否在不显式计算期望积分的情况下，建立 PSVIs 解的存在性与唯一性？
• RQ2 在伪单调性条件下，外梯度随机逼近算法是否对 PSVIs 几乎必然收敛？
• RQ3 能否在均方误差中实现 O(1/K) 的收敛速率？需要满足哪些条件？
• RQ4 镜像逼近算法在 PSVIs 中表现如何？是否在收敛保证方面与单调情形下表现一致？
• RQ5 这些算法在非单调与伪单调变分不等式问题上的实际性能如何？

主要发现

• 论文建立了 PSVIs 解的存在性与唯一性的无积分充分条件，使得无需显式计算期望积分即可进行分析。
• 在外梯度随机逼近算法下，PSVIs 的解在多种伪单调性形式下几乎必然收敛至解集。
• 镜像逼近算法同样实现了 PSVIs 的几乎必然收敛，且在单调情形下的弱锐性条件下具有类似结果。
• 在更强假设下，包括强伪单调性与利普希茨连续性，外梯度算法的均方误差以最优速率 O(1/K) 收敛。
• 推导出最优初始步长，有助于在均方误差意义下实现最佳可能的收敛速率。
• 数值实验验证了渐近收敛行为，并在伪单调与非单调问题上展示了与理论预测一致的经验收敛速率。