[论文解读] Stochastic inertial primal-dual algorithms

Lorenzo Rosasco, Silvia Villa+1 more|arXiv (Cornell University)|Jul 3, 2015

Sparse and Compressive Sensing Techniques参考文献 40被引用 4

一句话总结

本文提出了一种新颖的随机惯性原始-对偶算法，用于求解机器学习中出现的复合优化问题，利用惯性动力学和随机梯度估计，并在希尔伯特空间设置下提供收敛性保证。主要贡献是在一般条件下（包括有界步长和趋于零的随机误差）实现统一的收敛性分析，证明在确定性和随机设置下迭代序列均收敛至解。

ABSTRACT

We propose and study a novel stochastic inertial primal-dual approach to solve composite optimization problems. These latter problems arise naturally when learning with penalized regularization schemes. Our analysis provide convergence results in a general setting, that allows to analyze in a unified framework a variety of special cases of interest. Key in our analysis is considering the framework of splitting algorithm for solving a monotone inclusions in suitable product spaces and for a specific choice of preconditioning operators.

研究动机与目标

• 开发一种用于求解学习中复合优化问题的随机且具有惯性的原始-对偶方法扩展。
• 在希尔伯特空间中的单调包含框架下，为一大类优化算法提供统一的收敛性分析。
• 实现随机梯度估计的使用以及邻近算子的独立激活，而无需矩阵求逆。
• 在有界步长和趋于零的随机误差条件下建立收敛性，从而提高数值稳定性。
• 通过在一个统一且合乎逻辑的框架中同时引入惯性和随机性，推广现有原始-对偶方案。

提出的方法

• 该方法在乘积希尔伯特空间设置下，采用带预条件算子的随机惯性前向-后向分裂算法。
• 通过外推项 $ u_n = w_n + \alpha_n(w_n - w_{n-1}) $ 和 $ d_{k,n} = v_{k,n} + \alpha_n(v_{k,n} - v_{k,n-1}) $ 实现惯性步骤，以加速收敛。
• 通过共轭函数的预解算子独立计算正则化项的邻近算子：$ q_{k,n} = \text{prox}_{g_k^*}^{W_k^{-1}}(d_{k,n} + W_k D_k s_n) $。
• 使用随机梯度估计 $ \mathbf{a}_n $ 代替精确梯度，满足 $ \mathbb{E}[\mathbf{a}_n | \mathcal{F}_n] = \nabla F(u_n) $ 且误差方差可 summable。
• 算法在原始更新 $ w_{n+1} = u_n - V\mathbf{a}_n - \sum_k D_k^* q_{k,n} $ 和对偶更新 $ v_{k,n+1} = v_{k,n} + \lambda_n(q_{k,n} - v_{k,n}) $ 之间交替进行。
• 预条件矩阵 $ W_k $ 和算子 $ V $ 的选择确保在条件 $ \sum_k \|W_k^{1/2} D_k V^{1/2}\|^2 < 1 $ 下实现收敛。

实验结果

研究问题

• RQ1 能否在单一收敛性框架下统一随机惯性原始-对偶方法的扩展？
• RQ2 在有界步长和趋于零的随机误差条件下，是否能保证随机原始-对偶方案中迭代序列的稳定与收敛？
• RQ3 与标准方法相比，惯性项的引入在随机设置下如何改善收敛行为？
• RQ4 所提出的算法能否在无需矩阵求逆的情况下处理非可分正则化项和一般线性算子？
• RQ5 随机惯性原始-对偶方法的迭代序列在何种条件下弱收敛或强收敛至解？

主要发现

• 在所述条件下，迭代序列 $ w_n \rightharpoonup \overline{w} $ 和 $ v_{k,n} \rightharpoonup \overline{v}_k $ 几乎必然实现弱收敛。
• 若目标函数 $ F $ 在极限点 $ \overline{w} $ 处为一致凸，则保证强收敛 $ w_n \to \overline{w} $。
• 在有界步长和可 summable 随机误差方差条件下建立收敛性，相比趋于零步长方案，显著提高了数值稳定性。
• 该方法通过在统一框架中同时引入随机性和惯性，推广了已知的原始-对偶和惯性算法，包括文献 [13, 23, 9] 中的方法。
• 数值实验验证了迭代序列的收敛性，并在多项式字典设置下准确逼近了回归函数。
• 该算法成功求解了具有非可分惩罚项的组套索型问题，在 $ p=32 $, $ s=8 $, 和 $ N=48 $ 条件下实现了良好的回归性能。