[论文解读] Stochastic Quasi-Fej\\'er Block-Coordinate Fixed Point Iterations With Random Sweeping II: Mean-Square and Linear Convergence

Patrick L. Combettes, Jean‐Christophe Pesquet|arXiv (Cornell University)|Apr 26, 2017

Optimization and Variational Analysis参考文献 31被引用 20

一句话总结

本文建立了带随机扫掠和随机误差的随机块坐标不动点迭代的均方收敛与线性收敛，扩展了先前的几乎必然收敛结果。在算子满足类似压缩条件的前提下，证明了线性收敛，这是该类块坐标算法在单调算子分裂和邻近优化中首次获得此类结果。

ABSTRACT

Reference [11] investigated the almost sure weak convergence of block-coordinate fixed point algorithms and discussed their applications to nonlinear analysis and optimization. This algorithmic framework features random sweeping rules to select arbitrarily the blocks of variables that are activated over the course of the iterations and it allows for stochastic errors in the evaluation of the operators. The present paper establishes results on the mean-square and linear convergence of the iterates. Applications to monotone operator splitting and proximal optimization algorithms are presented.

研究动机与目标

• 建立带随机扫掠和随机误差的随机块坐标不动点迭代的均方收敛与线性收敛。
• 将先前的几乎必然弱收敛结果扩展为均方和线性意义下的更强收敛保证。
• 对单调算子理论中前向-后向算法和分裂算法的块坐标版本提供收敛性分析。
• 推导出在存在随机扰动和随机块激活时，迭代序列实现线性收敛的条件。
• 在一般随机扫掠规则下，为邻近算法和单调算子分裂算法提供新的收敛结果。

提出的方法

• 在希尔伯特空间中使用随机拟-费耶尔框架，以建模带随机扫掠和随机误差的块坐标不动点迭代。
• 对算子施加类似压缩的条件：‖Tₙx − z‖ ≤ √τₙ‖x − z‖，其中 τₙ ∈ [0,1)，确保严格拟非扩张性及唯一不动点集。
• 分析算法1.2的迭代序列，其中每次迭代仅随机选择的块被更新，使用松弛参数 λₙ 和随机误差 aᵢₙ。
• 通过有界期望平方误差，利用压缩性质和随机扫掠规则，推导出均方收敛。
• 在 λₙ、γₙ 和 τₙ 的特定参数条件下，证明误差呈几何衰减，从而建立线性收敛。
• 将该框架应用于前向-后向分裂和邻近算法，推导出涉及光滑函数和强凸函数问题的收敛保证。

实验结果

研究问题

• RQ1 在何种条件下，带随机扫掠和随机误差的随机块坐标不动点迭代会实现均方收敛？
• RQ2 当底层算子满足统一压缩性质时，能否为这类迭代建立线性收敛？
• RQ3 与确定性或循环方案相比，随机扫掠规则和随机误差如何影响收敛速率？
• RQ4 在该随机框架下，块坐标前向-后向算法和邻近算法的收敛性质是什么？
• RQ5 收敛速率如何依赖于松弛参数的选择、随机误差方差以及算子压缩参数？

主要发现

• 本文在每个算子 Tₙ 满足 τₙ ∈ [0,1) 的统一压缩条件假设下，建立了迭代序列的均方收敛。
• 当参数 λₙ 和 γₙ 满足涉及 τₙ 和问题参数的特定不等式时，证明了线性收敛，确保期望误差的几何衰减。
• 收敛速率通过一个小于1的压缩因子量化，该因子由参数 τₙ、λₙ 和随机误差方差导出。
• 对于前向-后向算法，收敛条件简化为要求步长 γₙ 远离零，并满足依赖于问题强凸性和利普希茨常数的特定上界。
• 本研究是首次为带随机扫掠和随机误差的块坐标随机不动点迭代建立线性收敛结果，即使在单块情况下亦成立。
• 该框架适用于邻近优化和单调算子分裂，对涉及光滑和强凸函数的问题提供了明确的收敛保证。