[论文解读] Non-asymptotic Analysis of Stochastic Methods for Non-Smooth Non-Convex Regularized Problems

Yi Xu, Rong Jin+1 more|arXiv (Cornell University)|Feb 20, 2019

Sparse and Compressive Sensing Techniques被引用 7

一句话总结

本文首次对非光滑非凸正则化问题的随机近端梯度（SPG）方法进行了非渐近收敛分析，其中损失函数和正则项均为非凸且非光滑。研究证明，小批量SPG变体在寻找近似驻点时，其迭代复杂度与凸情形下的对应方法相当，并提出了无需预先知晓目标精度的动态小批量变体。

ABSTRACT

Stochastic Proximal Gradient (SPG) methods have been widely used for solving optimization problems with a simple (possibly non-smooth) regularizer in machine learning and statistics. However, to the best of our knowledge no non-asymptotic convergence analysis of SPG exists for non-convex optimization with a non-smooth and non-convex regularizer. All existing non-asymptotic analysis of SPG for solving non-smooth non-convex problems require the non-smooth regularizer to be a convex function, and hence are not applicable to a non-smooth non-convex regularized problem. This work initiates the analysis to bridge this gap and opens the door to non-asymptotic convergence analysis of non-smooth non-convex regularized problems. We analyze several variants of mini-batch SPG methods for minimizing a non-convex objective that consists of a smooth non-convex loss and a non-smooth non-convex regularizer. Our contributions are two-fold: (i) we show that they enjoy the same complexities as their counterparts for solving convex regularized non-convex problems in terms of finding an approximate stationary point; (ii) we develop more practical variants using dynamic mini-batch size instead of a fixed mini-batch size without requiring the target accuracy level of solution. The significance of our results is that they improve upon the-state-of-art results for solving non-smooth non-convex regularized problems. We also empirically demonstrate the effectiveness of the considered SPG methods in comparison with other peer stochastic methods.

研究动机与目标

• 解决非光滑非凸正则化优化中随机近端梯度方法缺乏非渐近收敛分析的问题。
• 填补现有分析中假设正则项为凸的理论空白，这些假设不适用于非凸非光滑情形。
• 开发实用的SPG变体，采用动态小批量大小而非固定大小，从而消除对目标精度先验知识的需求。
• 为非凸非光滑问题建立与凸正则化情形相当的收敛复杂度界。
• 通过实验验证所提SPG方法相较于同类随机优化技术的有效性。

提出的方法

• 分析用于最小化光滑非凸损失与非光滑非凸正则项之和的小批量随机近端梯度（SPG）方法。
• 采用非渐近分析方法，推导出寻找近似驻点的迭代复杂度界。
• 提出在优化过程中自适应调整的动态小批量大小策略，无需预先知晓目标精度。
• 应用非凸与非光滑分析中的工具，包括次微分微积分和期望光滑性假设。
• 同时考虑优化问题的有限和形式与期望形式。
• 采用随机逼近与近端算法的理论框架，在弱于先前工作的假设下建立收敛性。

实验结果

研究问题

• RQ1 当损失函数和正则项均为非凸且非光滑时，能否为SPG方法建立非渐近收敛保证？
• RQ2 非光滑非凸问题的SPG方法是否能达到与凸正则化问题相同的迭代复杂度？
• RQ3 能否设计出无需预先知晓目标精度的非光滑非凸SPG的动态小批量大小策略？
• RQ4 所提出的SPG变体在非光滑非凸设置下与现有随机方法相比，其性能如何？
• RQ5 在一般非凸非光滑设置下，何种理论条件可确保收敛至近似驻点？

主要发现

• 所提出的SPG小批量方法在寻找近似驻点时，其非渐近迭代复杂度与凸正则化情形下的对应方法相同。
• 在标准假设下，分析表明可在O(1/ε³)次迭代内收敛至ε-近似驻点，与凸正则化问题的已知界一致。
• 提出了无需目标精度知识的动态小批量SPG变体，显著提升了实用性。
• 理论框架适用于非光滑非凸正则化问题的有限和形式与期望形式。
• 实验结果表明，所提SPG方法在非光滑非凸优化任务中优于同类随机优化方法。
• 本工作首次为非光滑非凸正则化设置下的SPG提供了非渐近收敛分析，填补了关键的理论空白。