[论文解读] Stochastic Three-Composite Convex Minimization
本文提出S3CM，一种用于最小化三个凸函数之和的随机三算子分裂方法，其中一项为具有Lipschitz连续梯度和受限强凸性的光滑项。该算法对光滑项使用随机梯度估计，对另外两项使用近端算子，基于标准假设，在期望意义下实现O(1/n)的收敛速率，将确定性三算子分裂方法扩展至随机设置。
We propose a stochastic optimization method for the minimization of the sum of three convex functions, one of which has Lipschitz continuous gradient as well as restricted strong convexity. Our approach is most suitable in the setting where it is computationally advantageous to process smooth term in the decomposition with its stochastic gradient estimate and the other two functions separately with their proximal operators, such as doubly regularized empirical risk minimization problems. We prove the convergence characterization of the proposed algorithm in expectation under the standard assumptions for the stochastic gradient estimate of the smooth term. Our method operates in the primal space and can be considered as a stochastic extension of the three-operator splitting method. Numerical evidence supports the effectiveness of our method in real-world problems.
研究动机与目标
- 填补现有算子分裂方法在处理光滑项的随机梯度同时对非光滑项使用近端算子方面的空白。
- 开发一种可扩展的原始空间优化算法，适用于机器学习中的双重正则化经验风险最小化问题。
- 在标准假设下，为随机三复合凸最小化问题提供期望意义下的收敛性保证。
- 通过避免完整梯度计算，实现在流式处理和大规模场景下的高效计算。
提出的方法
- 该方法通过用无偏随机梯度估计替代光滑项的精确梯度，将确定性三算子分裂方法进行扩展。
- 在每次迭代中，先使用光滑函数h的随机梯度执行前向步骤，随后使用f和g的近端算子执行两次后向步骤。
- 算法采用递减步长规则γₙ = γ₀/(n+1)，以在受限强凸性条件下确保收敛。
- 其完全在原始空间中运行，避免对偶更新，从而实现高效实现。
- 该方法适用于f和g的近端算子易于计算，且h具有Lipschitz连续梯度和受限强凸性的场景。
- 收敛性分析基于随机梯度的标准假设以及h的受限强凸性。
实验结果
研究问题
- RQ1随机化的三算子分裂方法能否在三复合凸最小化问题中实现O(1/n)的收敛速率？
- RQ2当仅对光滑项使用无偏随机梯度时，所提方法是否仍能保持收敛？
- RQ3在真实世界机器学习问题中，该算法与确定性方法相比在实际性能如何？
- RQ4何种学习率调度策略可在受限强凸性和随机梯度条件下确保收敛？
主要发现
- 所提出的S3CM算法在期望意义下对最优解相对距离的平方实现了O(1/n)的收敛速率，如定理2所证明。
- 在FF100数据集上的数值结果表明，S3CM的收敛速率接近O(1/n)，支持理论分析。
- 在非线性SVM分类任务中，当学习率γₙ = γ₀/(n+1)时，S3CM对足够大的γ₀实现了O(1/n)的实证收敛速率，与受限强凸性假设一致。
- 通过使用随机梯度估计，S3CM将每次迭代的计算成本降低至O(d)，相比确定性方法中O(d²)的完整梯度计算具有显著优势。
- 在真实世界实验中，S3CM在计算效率方面优于确定性三算子分裂方法，同时保持了相当的收敛精度。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。