[论文解读] Stochastic Variance-Reduced Prox-Linear Algorithms for Nonconvex Composite Optimization

Junyu Zhang, Lin Xiao|arXiv (Cornell University)|Apr 9, 2020

Sparse and Compressive Sensing Techniques参考文献 63被引用 6

一句话总结

该论文提出了一类用于非凸复合优化问题 $ f(g(x)) + h(x) $ 的随机方差缩减近似线性算法，其中 $ f $ 和 $ h $ 为凸函数（可能不可微），$ g $ 为分量平均或期望形式的光滑映射。通过结合 SARAH/Spider 与改进的 SVRG 方差缩减技术，该方法实现了最优样本复杂度：在有限平均情况下为 $ \mathcal{O}(N + N^{4/5}\epsilon^{-1}) $，在一般期望情况下为 $ \mathcal{O}(\epsilon^{-5/2}) $，当 $ f $ 光滑时复杂度进一步提升。

ABSTRACT

We consider minimization of composite functions of the form $f(g(x))+h(x)$, where $f$ and $h$ are convex functions (which can be nonsmooth) and $g$ is a smooth vector mapping. In addition, we assume that $g$ is the average of finite number of component mappings or the expectation over a family of random component mappings. We propose a class of stochastic variance-reduced prox-linear algorithms for solving such problems and bound their sample complexities for finding an $ε$-stationary point in terms of the total number of evaluations of the component mappings and their Jacobians. When $g$ is a finite average of $N$ components, we obtain sample complexity $\mathcal{O}(N+ N^{4/5}ε^{-1})$ for both mapping and Jacobian evaluations. When $g$ is a general expectation, we obtain sample complexities of $\mathcal{O}(ε^{-5/2})$ and $\mathcal{O}(ε^{-3/2})$ for component mappings and their Jacobians respectively. If in addition $f$ is smooth, then improved sample complexities of $\mathcal{O}(N+N^{1/2}ε^{-1})$ and $\mathcal{O}(ε^{-3/2})$ are derived for $g$ being a finite average and a general expectation respectively, for both component mapping and Jacobian evaluations.

研究动机与目标

• 解决目标函数为 $ f(g(x)) + h(x) $ 的非凸复合优化问题，其中 $ f $ 和 $ h $ 为凸函数，$ g $ 为光滑向量映射。
• 通过引入适用于有限平均与期望形式 $ g $ 的方差缩减技术，降低随机近似线性方法的样本复杂度。
• 在分量映射与雅可比矩阵评估方面，实现寻找 $ \epsilon $-平稳点的最优样本复杂度边界。
• 将 SARAH/Spider 等方差缩减方法扩展至近似线性框架，相较于标准随机方法提升收敛速率。
• 在有限平均与一般期望设置下，分析理论样本复杂度，涵盖 $ f $ 光滑与否的情形。

提出的方法

• 提出一种随机方差缩减近似线性算法，利用 SARAH/Spider 或改进的 SVRG 估计器对 $ g(x^k) $ 和 $ g'(x^k) $ 的小批量近似进行方差缩减。
• 在每次迭代中求解一个近似线性子问题：$ x^{k+1} = \arg\min_x \left\{ f(\tilde{g}^k + \tilde{J}^k(x - x^k)) + h(x) + \frac{M}{2}\|x - x^k\|^2 \right\} $，其中 $ \tilde{g}^k $ 和 $ \tilde{J}^k $ 为方差缩减估计值。
• 采用受 SARAH/Spider 启发的递归梯度估计器，降低雅可比矩阵与函数值估计的方差，从而实现更低的样本复杂度。
• 针对非光滑与有限平均情形，提出一种带一阶校正的改进 SVRG 估计器，以提升收敛性能。
• 在后期迭代中采用恒定小批量大小策略，避免在每个周期初期使用大批次。
• 通过分析方差缩减近似线性更新的收敛速率，推导出理论样本复杂度边界。

实验结果

研究问题

• RQ1 在 $ g $ 为 $ N $ 个分量的有限平均时，随机近似线性方法在非凸复合优化中的最优样本复杂度是多少？
• RQ2 SARAH/Spider 等方差缩减技术能否有效适配至非光滑与非凸问题的近似线性算法？
• RQ3 在一般期望情形下，$ f $ 的光滑性如何影响可达到的样本复杂度？
• RQ4 在方差缩减近似线性方法中，批量大小与收敛速率之间存在何种权衡？
• RQ5 在非光滑 $ f $ 的情形下，能否有效使用恒定的小批量大小于方差缩减近似线性方案中？

主要发现

• 当 $ g $ 为 $ N $ 个分量的有限平均时，所提算法在分量映射与雅可比矩阵评估上的样本复杂度均为 $ \mathcal{O}(N + N^{4/5}\epsilon^{-1}) $。
• 当 $ g $ 为一般期望时，分量映射的样本复杂度为 $ \mathcal{O}(\epsilon^{-5/2}) $，雅可比矩阵的样本复杂度为 $ \mathcal{O}(\epsilon^{-3/2}) $。
• 当 $ f $ 光滑时，有限平均情形下的样本复杂度提升为 $ \mathcal{O}(N + \sqrt{N}\epsilon^{-1}) $，一般期望情形下为 $ \mathcal{O}(\epsilon^{-3/2}) $。
• 采用 SARAH/Spider 估计器可获得比基于 SVRG 的方案更优的样本复杂度，尤其在光滑情形下可实现 $ \mathcal{O}(N + \sqrt{N}\epsilon^{-1}) $ 的复杂度。
• 实验表明，结合方差缩减的近似线性方法在工业数据集上优于标准随机近似线性和 S-PL 方法，具有更好的实际性能。
• 理论分析表明，近似线性方法可通过高斯-牛顿近似隐式利用二阶信息，相较于一阶梯度方法具有优势。