[论文解读] Stochastic first-order methods: non-asymptotic and computer-aided analyses via potential functions

Adrien Taylor, Francis Bach|arXiv (Cornell University)|Feb 3, 2019

Stochastic Gradient Optimization Techniques参考文献 73被引用 13

一句话总结

本文提出了一种基于半定规划的计算机辅助框架，用于通过势函数分析随机一阶优化方法。该框架在多种噪声模型下（包括有界方差、最优解处的方差以及块坐标设置）实现了非渐近收敛保证，支持子线性收敛速率，同时通过结构化势函数设计实现了参数的自动选择。

ABSTRACT

We provide a novel computer-assisted technique for systematically analyzing first-order methods for optimization. In contrast with previous works, the approach is particularly suited for handling sublinear convergence rates and stochastic oracles. The technique relies on semidefinite programming and potential functions. It allows simultaneously obtaining worst-case guarantees on the behavior of those algorithms, and assisting in choosing appropriate parameters for tuning their worst-case performances. The technique also benefits from comfortable tightness guarantees, meaning that unsatisfactory results can be improved only by changing the setting. We use the approach for analyzing deterministic and stochastic first-order methods under different assumptions on the nature of the stochastic noise. Among others, we treat unstructured noise with bounded variance, different noise models arising in over-parametrized expectation minimization problems, and randomized block-coordinate descent schemes.

研究动机与目标

• 开发一种系统化、计算机辅助的方法，用于分析在随机预言机下具有子线性收敛速率的一阶优化算法。
• 通过支持结构化噪声（包括有界方差和最优解处的方差）的随机设置分析，弥补先前势函数方法的局限性。
• 提供仅通过改变算法或问题设置才可改进的紧致最坏情况收敛保证。
• 通过优化势函数结构，将自动参数选择集成到分析流程中。
• 将适用范围扩展至多种设置，如有限和最小化、过参数化问题以及随机化块坐标下降。

提出的方法

• 通过使用一种将算法进展与最优解距离绑定的势函数，将收敛性分析表述为半定规划（SDP）。
• 采用类似李雅普诺夫的势函数形式 $ \varphi_k^f = d_k(f(x_k) - f^*) + \frac{L}{2}\|x_k - x^*\|^2 $，其中 $ d_k $ 自适应演化。
• 推导出线性矩阵不等式（LMI）条件，以确保势函数在迭代过程中的期望递减。
• 从算法状态和梯度构造格拉姆矩阵 $ G = P^T P \succeq 0 $，从而实现不等式的SDP表述。
• 在势函数设计中引入对偶优化步骤，以自动调优算法参数（如步长），实现最坏情况下的最优性能。
• 通过将 $ \mathbb{E}_i \|G(x;i) - f'(x)\|^2 $ 的假设直接嵌入LMI约束中，适应不同噪声模型。

实验结果

研究问题

• RQ1 能否开发一种系统化、计算机辅助的方法，推导出在随机一阶方法下具有子线性收敛速率的非渐近收敛率？
• RQ2 如何构建势函数，以获得仅通过改变算法或问题结构才可改进的紧致最坏情况保证？
• RQ3 该框架在多大程度上能处理多样的随机噪声模型，包括有界方差、最优解处的方差以及块坐标预言机？
• RQ4 该方法能否同时支持收敛性分析与最优最坏情况性能的自动参数选择？
• RQ5 在不同随机预言机假设下，该框架在强凸与非强凸设置下的泛化能力如何？

主要发现

• 该框架在统一方差模型下，对随机梯度下降（SGD）实现了紧致的最坏情况收敛保证，其中 $ \mathbb{E}_i \|G(x;i)\|^2 \leq \sigma_*^2 + 2\rho_1 L(f(x) - f^*) + \rho_2 \|f'(x)\|^2 $，并实现了显式参数调优。
• 对于具有 $ n $ 个块的块坐标下降，该方法证明了期望意义下的线性收敛：$ \mathbb{E}_{i_k} \|x_{k+1}^{(i_k)} - x^*\|^2 \leq \rho_2 \|x_k - x^*\|^2 $，其中 $ \rho_2 = \max\left\{ (\delta_k \mu - 1)^2 + \frac{n-1}{n}, (\delta_k L - 1)^2 + \frac{n-1}{n} \right\} $。
• 该方法为有限和与过参数化设置下的SGD提供了非渐近收敛速率，包括在均匀有界方差假设不成立的情况下。
• 该方法通过优化势函数结构实现了自动参数选择，无需人工调优即可提升最坏情况性能。
• 该框架对不同噪声模型具有鲁棒性，包括最优解处的方差（$ \sigma_*^2 $）和非结构化噪声，并具备可证明的紧致性保证。
• 该分析在多个设置中得到验证：经验风险最小化、块坐标下降以及带动量的随机方法，展示了其广泛适用性。