[论文解读] Stochastic Approximations and Perturbations in Forward-Backward Splitting for Monotone Operators

Patrick L. Combettes, Jean‐Christophe Pesquet|arXiv (Cornell University)|Jul 25, 2015

Optimization and Variational Analysis参考文献 50被引用 29

一句话总结

本文建立了随机前向-后向分裂算法在单调算子包含问题中的几乎必然弱收敛与强收敛，其中随机逼近用于替代共利普希茨算子，随机扰动用于建模不精确的预解算子求值。主要贡献在于在较弱的随机过程条件下实现收敛，即使在非消失的邻近参数和松弛步长下也成立。

ABSTRACT

We investigate the asymptotic behavior of a stochastic version of the forward-backward splitting algorithm for finding a zero of the sum of a maximally monotone set-valued operator and a cocoercive operator in Hilbert spaces. Our general setting features stochastic approximations of the cocoercive operator and stochastic perturbations in the evaluation of the resolvents of the set-valued operator. In addition, relaxations and not necessarily vanishing proximal parameters are allowed. Weak and strong almost sure convergence properties of the iterates is established under mild conditions on the underlying stochastic processes. Leveraging these results, we also establish the almost sure convergence of the iterates of a stochastic variant of a primal-dual proximal splitting method for composite minimization problems.

研究动机与目标

• 分析在希尔伯特空间中寻找极大单调算子与共利普希茨算子之和的零点的随机前向-后向算法的渐近行为。
• 考虑共利普希茨算子的随机逼近以及预解算子求值中的随机扰动，以建模现实世界中的不精确性。
• 允许非消失的邻近参数和松弛步骤，推广标准的确定性前向-后向格式。
• 在底层随机过程的较弱矩条件与遍历性条件下，建立迭代序列的几乎必然弱收敛与强收敛。
• 将收敛结果扩展至复合最小化问题的随机对偶-邻近分裂方法。

提出的方法

• 提出一种随机前向-后向迭代，其中共利普希茨算子由随机变量序列 $(u_n)$ 近似，预解算子通过随机扰动 $(a_n)$ 求值。
• 引入松弛参数 $(\lambda_n)$，并在预解算子 $\mathsf{J}_{\gamma_n\mathsf{A}}$ 中允许非消失的邻近参数 $(\gamma_n)$。
• 使用条件期望与鞅型论证分析随机逼近的偏差与方差。
• 应用重对数律控制经验估计的偏差，如 $\mathsf{E}(u_n \mid \boldsymbol{\mathcal{X}}_n) - \nabla\mathsf{h}(x_n)$，在信号恢复示例中。
• 通过验证一般收敛性命题（命题 5.3）中的条件，包括随机误差的矩界，建立收敛性。
• 推导出偏差与方差项的显式衰减速率，如 $\lambda_n \|\mathsf{E}(u_n \mid \boldsymbol{\mathcal{X}}_n) - \nabla\mathsf{h}(x_n)\|^2 = O(\log(\log(n))/n^{1+\delta+\kappa})$。

实验结果

研究问题

• RQ1 在预解算子受扰动且共利普希茨算子近似存在噪声的条件下，随机前向-后向算法在什么条件下会几乎必然收敛？
• RQ2 共利普希茨算子的随机逼近与预解算子求值中的扰动如何影响迭代序列的收敛性？
• RQ3 当邻近参数 $\gamma_n$ 不趋于零且使用松弛 $\lambda_n$ 时，是否仍能保证收敛？
• RQ4 采样率 $m_n$ 对随机逼近 $u_n$ 的偏差与方差有何影响？
• RQ5 理论结果能否扩展至复合最小化问题的随机对偶-邻近分裂方法？

主要发现

• 在随机过程的较弱条件下，随机前向-后向算法的迭代序列几乎必然弱收敛与强收敛于单调包含问题的解。
• 当 $m_n = O(n^{1+\delta})$ 且 $\lambda_n = O(n^{-\kappa})$ 时，随机逼近 $\mathsf{E}(u_n \mid \boldsymbol{\mathcal{X}}_n) - \nabla\mathsf{h}(x_n)$ 的偏差衰减为 $O(\log(\log(n))/n^{1+\delta+\kappa})$。
• 近似误差的条件方差满足 $\mathsf{E}(\|u_n - \mathsf{E}(u_n \mid \boldsymbol{\mathcal{X}}_n)\|^2 \mid \boldsymbol{\mathcal{X}}_n) = O(1/n^{2+\delta})$，确保噪声贡献可忽略。
• 乘积 $\lambda_n \zeta_n$ 衰减为 $O(1/n^{2+\delta+\kappa})$，满足收敛所需的可 summability 条件。
• 结果被扩展至随机对偶-邻近分裂方法，为复合最小化问题建立了几乎必然收敛性。
• 该收敛框架适用于实际问题，如信号恢复，其中 $u_n$ 是最小二乘泛函梯度的经验估计。