[论文解读] The Forward-Backward-Forward Method from discrete and continuous perspective for pseudo-monotone variational inequalities in Hilbert Spaces

Radu Ioan Boţ, Ernö Robert Csetnek+1 more|arXiv (Cornell University)|Aug 24, 2018

Optimization and Variational Analysis被引用 16

一句话总结

本文建立了Tseng的前向-后向-前向算法在Hilbert空间中对伪单调变分不等式收敛的结论，证明了其在强伪单调性条件下的适用性与线性收敛性。此外，本文还引入了对应的连续动力系统，并在数值实验中展示了其在性能上优于Korpelevich的外梯度法。

ABSTRACT

Tseng's forward-backward-forward algorithm is a valuable alternative for Korpelevich's extragradient method when solving variational inequalities over a convex and closed set governed by monotone and Lipschitz continuous operators, as it requires in every step only one projection operation. However, it is well-known that Korpelevich's method is provable convergent and thus applicable when solving variational inequalities governed by a pseudo-monotone and Lipschitz continuous operator. In this paper we prove that Tseng's method converges also when it is applied to the solving of pseudo-monotone variational inequalities. In addition, we show that linear convergence is guaranteed under strong pseudo-monotonicity. We also associate a dynamical system to the pseudo-monotone variational inequality and carry out an asymptotic analysis for the generated trajectories. Numerical experiments show that Tseng's method outperforms Korplelevich's extragradient method when applied to the solving of pseudo-monotone variational inequalities and fractional programming problems.

研究动机与目标

• 将Tseng的前向-后向-前向算法的适用范围从单调性扩展到伪单调变分不等式。
• 为在Hilbert空间中求解伪单调变分不等式时Tseng方法的收敛性提供理论保证。
• 分析与伪单调变分不等式相关的连续时间动力系统的渐近行为。
• 比较Tseng方法与Korpelevich的外梯度法在求解伪单调问题及分数规划问题时的性能表现。
• 提供理论与数值证据，表明Tseng方法是伪单调设定下一个可行且高效的替代方案。

提出的方法

• 本文分析了Tseng的前向-后向-前向算法在Hilbert空间中由伪单调且Lipschitz连续算子控制的变分不等式中的行为。
• 证明了在伪单调性与Lipschitz连续性条件下，该算法具有收敛性，从而将其有效性扩展至非单调算子。
• 在更强的强伪单调性条件下，建立了线性收敛性。
• 为变分不等式关联了一个连续动力系统，并对其轨迹进行了渐近分析。
• 该方法依赖于包含前向步长与一次后向投影的三步迭代格式，从而将每步的计算成本降至最低。
• 在伪单调变分不等式与分数规划问题上开展了数值实验，以比较不同方法的性能。

实验结果

研究问题

• RQ1 当应用于伪单调变分不等式时，Tseng的前向-后向-前向算法是否收敛？
• RQ2 在何种条件下，该算法可实现线性收敛？
• RQ3 能否为伪单调变分不等式关联一个连续动力系统？其轨迹的渐近行为如何？
• RQ4 Tseng方法在求解伪单调问题时，与Korpelevich的外梯度法相比性能如何？
• RQ5 Tseng方法在可重述为伪单调变分不等式的分数规划问题中是否有效？

主要发现

• Tseng的前向-后向-前向算法在Hilbert空间中对伪单调变分不等式具有收敛性，从而将该方法的理论适用范围从单调设定扩展至更广的伪单调情形。
• 当算子为强伪单调时，可保证线性收敛，表明在更强假设下可获得更快的收敛速率。
• 所关联的连续动力系统表现出渐近收敛至变分不等式解的特性，证实了轨迹流的稳定性。
• 数值实验表明，Tseng方法在求解伪单调变分不等式时优于Korpelevich的外梯度法。
• 该方法在分数规划问题上也表现出更优性能，而此类问题可重述为伪单调变分不等式。
• 该算法通过每迭代仅需一次投影，保持了计算效率，使其在大规模问题中具有实际应用价值。