[论文解读] Regularized Risk Minimization by Nesterov's Accelerated Gradient Methods: Algorithmic Extensions and Empirical Studies

Xinhua Zhang, Ankan Saha+1 more|arXiv (Cornell University)|Nov 1, 2010

Sparse and Compressive Sensing Techniques参考文献 44被引用 5

一句话总结

该论文将Nesterov的加速梯度法（AGM）扩展至使用Bregman散度基邻近函数处理强凸性和复合正则化风险最小化问题，实现了Lipschitz常数的自适应估计与对偶间隙的紧致界 bound。作者证明，对经验风险进行平滑处理可显著提升AGM在最大间隔模型上的性能，通过高效的梯度计算与收敛性保证，使其超越现有最先进求解器。

ABSTRACT

Nesterov's accelerated gradient methods (AGM) have been successfully applied in many machine learning areas. However, their empirical performance on training max-margin models has been inferior to existing specialized solvers. In this paper, we first extend AGM to strongly convex and composite objective functions with Bregman style prox-functions. Our unifying framework covers both the $\infty$-memory and 1-memory styles of AGM, tunes the Lipschiz constant adaptively, and bounds the duality gap. Then we demonstrate various ways to apply this framework of methods to a wide range of machine learning problems. Emphasis will be given on their rate of convergence and how to efficiently compute the gradient and optimize the models. The experimental results show that with our extensions AGM outperforms state-of-the-art solvers on max-margin models.

研究动机与目标

• 解决标准Nesterov加速梯度法（AGM）在最大间隔模型上虽具有强理论收敛速率但实际性能欠佳的问题。
• 提出一个统一框架，将AGM扩展至使用Bregman风格邻近函数的强凸与复合目标函数。
• 在优化过程中实现Lipschitz常数的自适应估计与对偶间隙的紧致界 bound。
• 证明对经验风险进行平滑处理可提升AGM在最大间隔问题上的收敛速度与实际性能。
• 展示所提框架可推广至广泛机器学习问题，具备高效的梯度计算与在强凸条件下的线性收敛性。

提出的方法

• 提出一种对非光滑经验风险 $ R_{ ext{emp}}(\boldsymbol{w}) $ 的平滑技术，将其转化为平滑近似 $ \tilde{R}_{ ext{emp}}(\boldsymbol{w}) $，以支持高效的基于梯度的优化。
• 将正则化风险最小化问题表述为复合目标函数 $ J(\boldsymbol{w}) = \frac{1}{2}\norm{\boldsymbol{w}}_2^2 + \tilde{R}_{\text{emp}}(\boldsymbol{w}) $，其中平滑性保证了在 $ \theta $-精度下达到 $ O(1/\theta) $ 的收敛速度。
• 将基于Bregman散度的邻近函数整合入AGM，以处理如 $ L_1 $-范数与弹性网络等非光滑正则化项，实现复合优化。
• 基于Hessian分析平滑对偶函数 $ g_\nu^\bullet(A\boldsymbol{w}) $，表明其Lipschitz常数取决于加权和 $ \boldsymbol{a}_i \boldsymbol{a}_i^\top $ 的最大特征值，该值可通过最优 $ b_i $-选择实现最小化。
• 利用幂迭代法高效计算 $ \boldsymbol{A}^\top \boldsymbol{A} $ 的主导特征向量，从而指导平滑参数 $ b_i $ 的最优选择，以最小化Lipschitz常数。
• 应用同伦路径法（平滑参数渐进退火）逐步优化解，利用在最优解处大多数对偶变量 $ \boldsymbol{\nu}_i $ 为零的特性，提升近似质量。

实验结果

研究问题

• RQ1 能否通过基于Bregman散度的邻近函数，将Nesterov的加速梯度法有效扩展至复合与强凸正则化风险最小化问题？
• RQ2 在最大间隔模型中，对经验风险进行平滑处理是否可使AGM的实际性能优于直接对偶或对偶-原对偶公式？
• RQ3 在非光滑、复合目标函数的AGM框架中，能否实现Lipschitz常数与对偶间隙边界的自适应估计？
• RQ4 平滑参数的选择如何影响平滑目标函数的收敛速率与Lipschitz常数？
• RQ5 所提框架能否在训练最大间隔模型（如SVM）时超越专用求解器，同时保持理论收敛保证？

主要发现

• 对经验风险 $ R_{\text{emp}}(\boldsymbol{w}) $ 进行平滑处理后，可转化为一个平滑且无约束的优化问题，从而在 $ \theta $-精度下实现 $ O(1/\theta) $ 的收敛速度，显著提升AGM在最大间隔模型上的实际性能。
• 所提框架在正则化项 $ \frac{1}{2}\norm{\boldsymbol{w}}_2^2 $ 为强凸时，可实现线性收敛，这对实际应用中的快速收敛至关重要。
• 通过选择 $ b_i^2 = |\boldsymbol{a}_i^\top \boldsymbol{v}^*| $ 可使平滑对偶函数的Lipschitz常数最小化，其中 $ \boldsymbol{v}^* $ 为 $ \boldsymbol{A}^\top \boldsymbol{A} $ 的主导特征向量，从而提升收敛速度。
• 同伦路径法（平滑参数渐进退火）使算法能快速收敛至高质量解，因为最优解处大多数对偶变量 $ \boldsymbol{\nu}_i $ 为零，使得近似更加紧密。
• 实证结果表明，改进后的AGM框架在最大间隔模型上优于现有最先进专用求解器，尽管AGM在此领域此前表现不佳。
• 通过利用复合优化技术，该框架可推广至 $ L_1 $-范数、$ L_{1,\text{infty}} $ 与弹性网络正则化项，即使在正则化项不可微时，仍能保持 $ O(1/\theta) $ 的收敛速度。