[论文解读] Quasinonexpansive Iterations on the Affine Hull of Orbits: From Mann's Mean Value Algorithm to Inertial Methods

Patrick L. Combettes, Lilian E. Glaudin|arXiv (Cornell University)|Apr 11, 2017

Optimization and Variational Analysis参考文献 24被引用 15

一句话总结

本文通过将拟非扩张算子作用于过去迭代点的仿射包上，提出了一种统一的固定点框架，用于迭代算法，该框架推广了Mann的平均值法、惯性方法以及多层无记忆方案。主要贡献在于在广泛条件下确保弱收敛至不动点的收敛性分析，从而为单调包含和非光滑最小化问题提供了新算法。

ABSTRACT

Fixed point iterations play a central role in the design and the analysis of a large number of optimization algorithms. We study a new iterative scheme in which the update is obtained by applying a composition of quasinonexpansive operators to a point in the affine hull of the orbit generated up to the current iterate. This investigation unifies several algorithmic constructs, including Mann's mean value method, inertial methods, and multi-layer memoryless methods. It also provides a framework for the development of new algorithms, such as those we propose for solving monotone inclusion and minimization problems.

研究动机与目标

• 将优化中的三种主要算法框架统一：Mann的平均值迭代、惯性方法以及多层无记忆方案。
• 提出一种通用的迭代格式，其中更新基于拟非扩张算子作用于过去迭代点的凸组合上。
• 在实希尔伯特空间上的不动点迭代背景下，建立该框架的收敛性保证。
• 为构造求解单调包含与非光滑凸最小化问题的新算法提供基础。
• 通过将现有结果（如Polyak的次梯度投影法）嵌入更广泛的收敛理论中，推广已有成果。

提出的方法

• 所提方法通过 $x_{n+1} = T_n \bar{x}_n$ 更新序列 $x_n$，其中 $\bar{x}_n$ 是过去迭代点 $x_j$（$0 \leq j \leq n$）的凸组合，且位于轨道的仿射包内。
• 每个算子 $T_n$ 均为拟非扩张，确保在映射下到不动点的距离不会增加。
• 通过双层结构引入惯性项：$\bar{x}_n = (1+\eta_n)x_n - \eta_n x_{n-1}$，实现类似动量的加速效果。
• 该方法通过允许可变参数和误差项，推广了前向-后向与Peaceman-Rachford分裂格式。
• 在平均权重 $\mu_{n,j}$、松弛参数 $\lambda_n$ 和惯性参数 $\eta_n$ 的条件下分析收敛性，确保弱收敛至不动点。
• 分析利用了平均算子与牢固拟非扩张算子的性质，包括邻近算子与次梯度投影算子的应用。

实验结果

研究问题

• RQ1 Mann的平均值法、惯性方法与多层无记忆方案能否在单一迭代框架下统一？
• RQ2 平均权重与松弛参数需满足何种条件，才能保证迭代点弱收敛至不动点？
• RQ3 所提框架如何用于推导单调包含与非光滑最小化问题的新算法？
• RQ4 与标准无记忆方案相比，使用过去迭代点的仿射包如何改善收敛行为？
• RQ5 经典结果如Polyak的次梯度投影法能否在此新框架中被恢复并扩展？

主要发现

• 在参数与函数正则性条件较弱时，所提算法可确保弱收敛 $x_n \rightharpoonup x$ 至不动点 $x \in \text{Argmin}_C f$。
• 当 $\lambda_n \equiv 1$ 时，该方法作为特例恢复了Polyak的经典次梯度投影法，验证了其与已有结果的一致性。
• 该框架通过允许可变松弛参数并扩展至凸集上的约束最小化，推广了惯性邻近点算法。
• 即使目标函数非强凸，只要次梯度投影算子为牢固拟非扩张且误差项趋于零，即可保证收敛。
• 收敛性证明依赖于 $\text{Id} - G$ 在零处的半闭性，该性质在超强制性或有限维条件下成立，从而确保不动点的识别。
• 该方法在不需强凸性或梯度Lipschitz连续性条件下实现收敛，从而扩大了对非光滑与非Lipschitz问题的适用范围。