[论文解读] Solving strongly convex-concave composite saddle point problems with a small dimension of one of the variables

Egor Gladin, Ilya Kuruzov+4 more|arXiv (Cornell University)|Oct 5, 2020

Heat Transfer and Mathematical Modeling被引用 4

一句话总结

该论文提出了一种新颖的算法，用于求解强凸-凹复合鞍点问题，其中一组变量维度较小（最多约100）。该方法采用分解策略：对高维变量使用带不精确梯度信息的加速梯度法；对低维变量则应用椭球法或Polyak方法。主要贡献在于，对于一般情况，其复杂度界为 $\widetilde{O}\left(\sqrt{\frac{L_{xx}}{\mu_x} + \frac{L_{xy}^2}{\mu_x\mu_y} + \frac{L_{yy}}{\mu_y}}\right)$；对于维度极小（最多5维）的特殊情况，通过一种新型多维二分法结合不精确梯度，实现了 $\widetilde{O}\left(\sqrt{\frac{L_{xx}}{\mu_x} + \frac{L_{yy}}{\mu_y}}\right)$ 的复杂度界。

ABSTRACT

The article is devoted to the development of algorithmic methods ensuring efficient complexity bounds for strongly convex-concave saddle point problems in the case when one of the groups of variables is high-dimensional, and the other is relatively low-dimensional (up to a hundred). The proposed technique is based on reducing problems of this type to a problem of minimizing a convex (maximizing a concave) functional in one of the variables, for which it is possible to find an approximate gradient at an arbitrary point with the required accuracy using an auxiliary optimization subproblem with another variable. In this case, the ellipsoid method is used for low-dimensional problems (if necessary, with an inexact $\\delta$-subgradient), and accelerated gradient methods are used for high-dimensional problems. For the case of a very small dimension of one of the groups of variables (up to 5), an approach based on a new version of the multidimensional analog of the Yu. E. Nesterov's method on the square (multidimensional dichotomy) is proposed with the possibility of using inexact values of the gradient of the objective functional.

研究动机与目标

• 开发高效算法，用于求解强凸-凹复合鞍点问题，其中一组变量维度较小（最多约100），而另一组维度较大。
• 解决在仅能通过子问题获得不精确梯度信息时，实现最优或近似最优收敛速率的挑战。
• 为低维情况（最多5维）设计专用方法，利用多维二分法和不精确梯度预言机。
• 提供理论复杂度界，使其与该类问题的已知下界相匹配或接近。
• 通过结合高维变量的加速梯度方案与不精确子问题求解，以及低维变量的精确或高效求解器，统一并扩展现有方法。

提出的方法

• 该方法通过固定一个变量并求解另一个变量，将原始鞍点问题分解为一系列子问题，从而利用其中一组变量的低维特性。
• 对于高维变量，算法使用带不精确梯度信息的加速梯度法，其中梯度通过求解低维变量上的子问题来近似。
• 对于低维变量，算法应用椭球法或Polyak方法，以高精度或精确方式求解子问题。
• 在极低维情况（≤5维）下，提出一种新型多维二分法，可利用不精确梯度预言机在超立方体内高效进行最小化。
• 通过递归减小搜索空间，并利用Lipschitz连续性和强凸性参数控制梯度近似误差，确保算法收敛。
• 通过分析子问题求解所需的精度以及达到目标精度 $\varepsilon$ 所需的迭代次数，推导出理论复杂度。

实验结果

研究问题

• RQ1 当一组变量维度较小时，能否在强凸-凹鞍点问题中实现近似最优复杂度，而另一组变量维度较大？
• RQ2 如何通过低维变量上的子问题，高效计算高维变量的不精确梯度信息？
• RQ3 在准确求解低维子问题与主算法整体收敛速率之间，最优权衡是什么？
• RQ4 新型多维二分法是否能提升极小维度情况（≤5）下，使用不精确梯度预言机时的收敛性能？
• RQ5 所提方法的理论复杂度界与该类问题的已知下界相比如何？

主要发现

• 所提算法在低维变量组的一般情况下，实现了复杂度界 $\widetilde{O}\left(\sqrt{\frac{L_{xx}}{\mu_x} + \frac{L_{xy}^2}{\mu_x\mu_y} + \frac{L_{yy}}{\mu_y}}\right)$。
• 在维度 ≤5 的特殊情况下，通过新型多维二分法结合不精确梯度，算法实现了复杂度界 $\widetilde{O}\left(\sqrt{\frac{L_{xx}}{\mu_x} + \frac{L_{yy}}{\mu_y}}\right)$。
• 算法确保高维子问题中梯度近似的所需精度被限制在 $\Delta \leq \frac{1}{4} \cdot \frac{L_f}{M_f + 2L_f R} \cdot \varepsilon$ 以内，该界决定了子问题求解的迭代次数。
• 子问题求解所需的迭代次数被限制为 $N = \left\lceil \log_2\left(\frac{4R(M_f + 2L_f R)}{L_f \varepsilon}\right) \right\rceil$，从而保证整体收敛至 $\varepsilon$-精度。
• 通过结合不精确梯度信息与低维问题的高效求解器，该方法实现了近似最优复杂度，其复杂度界与已知下界仅相差对数因子。
• 理论分析证实，只要通过推导出的 $\Delta$ 边界控制误差，该方法对梯度计算中的不精确性具有鲁棒性。