[论文解读] On the Convergence Properties of Non-Euclidean Extragradient Methods for Variational Inequalities with Generalized Monotone Operators

Cong D. Dang, Guanghui Lan|arXiv (Cornell University)|Nov 12, 2013

Optimization and Variational Analysis参考文献 22被引用 4

一句话总结

该论文提出了一种非欧几里得外梯度（N-EG）方法，用于求解具有非单调或伪单调算子的广义单调变分不等式（GMVI），采用一种新颖的基于残差的终止准则和邻近映射。该方法建立了Lipschitz连续算子的迭代复杂度界为O(1/√k)，并在大规模数值实验中表现出优于现有方法的性能。

ABSTRACT

In this paper, we study a class of generalized monotone variational inequality (GMVI) problems whose operators are not necessarily monotone (e.g., pseudo-monotone). We present non-Euclidean extragradient (N-EG) methods for computing approximate strong solutions of these problems, and demonstrate how their iteration complexities depend on the global Lipschitz or Hölder continuity properties for their operators and the smoothness properties for the distance generating function used in the N-EG algorithms. We also introduce a variant of this algorithm by incorporating a simple line-search procedure to deal with problems with more general continuous operators. Numerical studies are conducted to illustrate the significant advantages of the developed algorithms over the existing ones for solving large-scale GMVI problems.

研究动机与目标

• 解决广义单调变分不等式（GMVI）中，当算子不一定是单调时，外梯度方法缺乏复杂度分析的问题。
• 基于与邻近映射相关的残差函数，提出一种新的终止准则，以确保收敛到近似强解。
• 在算子满足全局Lipschitz连续性或Hölder连续性，且距离生成函数光滑的条件下，分析N-EG方法的迭代复杂度。
• 引入N-EG方法的线搜索变体，以处理超出Hölder连续性的更一般连续算子。
• 通过大规模GMVI问题上的广泛数值实验，展示所提算法的实际优势。

提出的方法

• 提出一种使用邻近映射而非标准欧几里得投影的非欧几里得外梯度（N-EG）方法，从而为结构化问题提供更好的条件。
• 定义一种与邻近映射相关的基于残差的终止准则，确保残差较小时，近似强解的最优性间隙也较小。
• 通过一种新颖的复杂度分析，建立Lipschitz连续算子下O(1/√k)的迭代复杂度界，其依赖于算子的Lipschitz常数L、光滑性参数Ω及算法参数。
• 引入线搜索过程以自适应调整步长，将适用范围扩展至连续但不一定是Hölder连续的算子。
• 利用具有不同光滑度（如p-范数、熵函数）的距离生成函数来定义非欧几里得度量，从而为不同问题结构提供定制化优化。
• 在基准问题和随机生成的GMVI实例上，实现并比较了基于欧几里得、p-范数和熵的N-EG方法。

实验结果

研究问题

• RQ1 当算子非单调时，外梯度方法是否能为广义单调变分不等式（GMVI）建立迭代复杂度界？
• RQ2 选择不同的距离生成函数（如p-范数、熵函数）如何影响N-EG方法的收敛速度和实际性能？
• RQ3 在GMVI近似强解的背景下，残差函数与最优性间隙之间有何关系？
• RQ4 N-EG方法的线搜索变体能否将收敛保证扩展至连续但非Hölder连续的算子？
• RQ5 在大规模GMVI问题中，所提出的N-EG方法与标准欧几里得外梯度方法相比，实际表现如何？

主要发现

• 当算子为全局Lipschitz连续时，N-EG方法求解GMVI问题的迭代复杂度为O(1/√k)，其界依赖于算子的Lipschitz常数L、光滑性参数Ω及算法参数。
• 所提出的基于残差的终止准则确保：残差较小时，最优性间隙g(y) = max_{z∈X} ⟨F(y), y−z⟩也较小，从而保证了近似强解的质量。
• 数值结果表明，非欧几里得N-EG方法在CPU时间和投影调用次数方面显著优于标准欧几里得外梯度方法，尤其在大规模问题中表现突出。
• 对于Sun问题和HP Hard问题，p-范数和基于熵的N-EG变体在投影调用次数（np）和CPU时间上均显著少于欧几里得版本，效率提升达5–10倍。
• N-EG方法的线搜索变体成功处理了非Hölder连续算子，并保持了收敛性，展现出超越标准连续性假设的鲁棒性。
• 在大规模实例（n=8,000）中，基于熵的N-EG方法在20.5k CPU秒内完成收敛，仅需22,200次投影调用；而欧几里得方法则耗时超过1,700秒，调用10,761次，显示出明显的性能优势。