[论文解读] SPRING: A fast stochastic proximal alternating method for non-smooth non-convex optimization

Derek Driggs, Junqi Tang+3 more|arXiv (Cornell University)|Feb 27, 2020

Sparse and Compressive Sensing Techniques参考文献 40被引用 11

一句话总结

SPRING 是一种新颖的随机近似交替线性化最小化算法，适用于具有有限和结构的非光滑、非凸优化问题。它通过使用方差减少的随机梯度（SAGA/SARAH），实现了最先进的 oracle 复杂度，展示了在稀疏 NMF、稀疏 PCA 和盲图像去卷积等任务中更快的收敛速度和全局收敛保证。

ABSTRACT

We introduce SPRING, a novel stochastic proximal alternating linearized minimization algorithm for solving a class of non-smooth and non-convex optimization problems. Large-scale imaging problems are becoming increasingly prevalent due to advances in data acquisition and computational capabilities. Motivated by the success of stochastic optimization methods, we propose a stochastic variant of proximal alternating linearized minimization (PALM) algorithm \cite{bolte2014proximal}. We provide global convergence guarantees, demonstrating that our proposed method with variance-reduced stochastic gradient estimators, such as SAGA \cite{SAGA} and SARAH \cite{sarah}, achieves state-of-the-art oracle complexities. We also demonstrate the efficacy of our algorithm via several numerical examples including sparse non-negative matrix factorization, sparse principal component analysis, and blind image deconvolution.

研究动机与目标

• 解决成像和机器学习中大规模非光滑、非凸优化问题缺乏高效随机算法的问题。
• 将近端交替线性化最小化（PALM）框架扩展到随机设置，以提高可扩展性和每轮迭代的效率。
• 为使用 SAGA 和 SARAH 梯度估计器的 PALM 随机变体提供理论收敛保证。
• 在稀疏 NMF、稀疏 PCA 和盲图像去卷积等实际成像任务中，相比确定性 PALM 展现出更优的性能。
• 在一般假设下，实现随机非凸优化的理论最优 oracle 复杂度，无需假设凸性或光滑性。

提出的方法

• 提出 SPRING，即 PALM 的随机变体，通过用随机近似替代完整梯度来降低每轮迭代的计算成本。
• 使用方差减少的随机梯度估计器——SAGA 和 SARAH——以稳定收敛并提高样本效率。
• 在 PALM 的子问题中应用近端线性化，通过近端算子实现非光滑正则化项 $J(x)$ 和 $R(y)$ 的闭式更新。
• 保持交替最小化结构：先使用当前 $y$ 处 $F(x,y)$ 的梯度更新 $x$，再使用更新后 $x$ 处的梯度更新 $y$。
• 引入自适应步长 $\gamma_{x,k}, \gamma_{y,k}$，以在偏导数满足利普希茨连续性条件下确保收敛。
• 建立在期望意义下收敛至 $\epsilon$-近似临界点的理论结果，SPRING-SAGA 和 SPRING-SARAH 分别需要 $O(n^2L/(b^3\epsilon^2))$ 和 $O(\sqrt{n}L/\epsilon^2)$ 次随机一阶（SFO）oracle 调用。

实验结果

研究问题

• RQ1 SPRING 的随机扩展是否能在大规模非光滑、非凸问题上实现比确定性 PALM 更快的收敛？
• RQ2 在非凸、非光滑设置下，方差减少的随机梯度（SAGA/SARAH）是否能实现全局收敛保证？
• RQ3 与现有方法相比，所提出的随机 PALM 变体的 oracle 复杂度如何？
• RQ4 SPRING 是否能在稀疏 NMF、稀疏 PCA 和盲去卷积等实际成像任务中超越 PALM？
• RQ5 该方法是否在一般假设下达到了随机非凸优化的理论下界？

主要发现

• SPRING-SAGA 实现了 $O(n^2L/(b^3\epsilon^2))$ 次 SFO 调用的 oracle 复杂度，以达到 $\epsilon$-近似临界点，其中 $b \leq \mathcal{O}(n^{2/3})$。
• SPRING-SARAH 实现了 $O(\sqrt{n}L/\epsilon^2)$ 次 SFO 调用，与已知的随机非凸优化下界一致。
• 对于满足误差界条件的问题，SPRING 能线性收敛至全局最优解。
• 数值实验表明，SPRING 使用 SAGA 和 SARAH 在稀疏 NMF、稀疏 PCA 和盲图像去卷积任务中均比 PALM 收敛更快。
• 在图像去模糊任务中，SPRING 生成的重建结果更平滑、质量更高，且核估计更快。
• PALM 的惯性变体表现出加速效果，表明通过类似扩展进一步提升 SPRING 性能具有潜力。