[论文解读] On Weak and Strong Convergence of the Projected Gradient Method for Convex Optimization in real Hilbert Spaces

Yunier Bello-Cruz, Welington de Oliveira|arXiv (Cornell University)|Feb 24, 2014

Optimization and Variational Analysis参考文献 27被引用 4

一句话总结

该论文在实希尔伯特空间中，针对凸优化问题，基于比利普希茨连续性更弱的假设——即Gateaux导数的一致连续性，建立了带Armijo线搜索的投影梯度法的弱收敛性。此外，还提出了一种改进的变体，可在不假设梯度利普希茨连续性的前提下，确保强收敛至解集中的最近解。

ABSTRACT

This work focuses on convergence analysis of the projected gradient method for solving constrained convex minimization problem in Hilbert spaces. We show that the sequence of points generated by the method employing the Armijo linesearch converges weakly to a solution of the considered convex optimization problem. Weak convergence is established by assuming convexity and Gateaux differentiability of the objective function, whose Gateaux derivative is supposed to be uniformly continuous on bounded sets. Furthermore, we propose some modifications in the classical projected gradient method in order to obtain strong convergence. The new variant has the following desirable properties: the sequence of generated points is entirely contained in a ball with diameter equal to the distance between the initial point and the solution set, and the whole sequence converges strongly to the solution of the problem that lies closest to the initial iterate. Convergence analysis of both methods is presented without Lipschitz continuity assumption.

研究动机与目标

• 分析在希尔伯特空间中，带Armijo线搜索的投影梯度法在凸最小化问题中的弱收敛性。
• 通过仅假设梯度在有界集上的一致连续性，放松标准的梯度利普希茨连续性假设。
• 提出一种新的投影梯度法变体，确保强收敛至解集中距离初始点最近的解。
• 在不假设梯度全局利普希茨连续性的前提下，建立收敛结果，从而改进经典假设。

提出的方法

• 沿可行方向使用Armijo线搜索动态选择步长，避免固定或过小的步长。
• 采用一种改进的迭代格式，其中每一步迭代点为当前点与其在可行集上投影的凸组合。
• 提出一种新算法（算法A2），确保序列始终位于直径等于初始点到解集距离的闭球内。
• 利用初始点在解集上的投影 $ x_* = P_{S_*}(x^0) $ 作为序列的强极限。
• 依赖弱聚点分析与范数收敛论证，在 $ \nabla f $ 一致连续的假设下证明强收敛性。
• 应用凸分析与希尔伯特空间理论的结果，包括投影性质及在自反空间中的弱收敛性。

实验结果

研究问题

• RQ1 在何种条件下，带Armijo线搜索的投影梯度法在希尔伯特空间中实现弱收敛？
• RQ2 能否在不假设梯度全局利普希茨连续性的前提下实现强收敛？
• RQ3 对经典投影梯度法进行何种修改，可确保强收敛至最近解？
• RQ4 在有界集上梯度的一致连续性与利普希茨连续性相比，在收敛性保证方面有何差异？
• RQ5 在所提出的强收敛变体中，迭代序列满足何种几何性质？

主要发现

• 在凸性及Gateaux导数一致连续性的假设下，沿可行方向使用Armijo线搜索的投影梯度法弱收敛于凸优化问题的解。
• 该方法生成的序列有界，且满足 $ \|x^{k+1} - x^k\| \to 0 $，表明迭代步长逐渐减小。
• 所提出的投影梯度法变体可确保强收敛至 $ x_* = P_{S_*}(x^0) $，即解集 $ S_* $ 中距离初始点最近的解。
• 整个迭代序列位于一个闭球内，其直径等于 $ \|x^0 - x_*\| $，从而保证有界性与几何控制。
• 收敛性结果不依赖于 $ \nabla f $ 的全局利普希茨连续性，而仅依赖于其在有界集上的一致连续性。
• 强收敛结果在 $ \nabla f $ 关于有界集一致连续的假设下成立，该条件严格弱于利普希茨连续性。