[论文解读] Stochastic Smoothing for Nonsmooth Minimizations: Accelerating SGD by Exploiting Structure

Hua Ouyang, Alexander Gray|arXiv (Cornell University)|May 21, 2012

Stochastic Gradient Optimization Techniques参考文献 25被引用 16

一句话总结

本文提出了一种新型随机一阶算法——加速非光滑随机梯度下降（ANSGD），该算法利用非光滑凸损失函数（如合页损失、绝对损失和ε-不敏感损失）的结构性质，实现了强凸问题下最优的 O(1/t) 收敛速率。通过结合随机平滑与加速梯度方法，ANSGD 在理论和实践中均优于经典的 SGD 和次梯度方法。

ABSTRACT

In this work we consider the stochastic minimization of nonsmooth convex loss functions, a central problem in machine learning. We propose a novel algorithm called Accelerated Nonsmooth Stochastic Gradient Descent (ANSGD), which exploits the structure of common nonsmooth loss functions to achieve optimal convergence rates for a class of problems including SVMs. It is the first stochastic algorithm that can achieve the optimal O(1/t) rate for minimizing nonsmooth loss functions (with strong convexity). The fast rates are confirmed by empirical comparisons, in which ANSGD significantly outperforms previous subgradient descent algorithms including SGD.

研究动机与目标

• 为解决机器学习中常见的非光滑凸损失函数随机最小化问题中实现快速收敛的挑战。
• 开发一种一阶随机算法，实现在无须依赖 Polyak 平均化的情况下，对强凸、非光滑问题达到最优的 O(1/t) 收敛速率。
• 利用常见非光滑损失函数（如合页损失、绝对损失）的结构性质，设计更高效的优化方法。
• 将 Nesterov 的确定性平滑方法扩展至随机设置，实现在在线学习与增量学习中的加速收敛。

提出的方法

• 提出一种随机平滑技术，通过平滑近似来逼近非光滑损失函数，从而可应用最优梯度方法。
• 提出 ANSGD，一种结合随机平滑与加速梯度下降框架的混合算法，适用于随机复合优化。
• 采用类似邻近的更新规则，结合 Bregman 散度与自适应步长 ηt，以处理目标函数中的非光滑分量。
• 采用递减步长序列 γt = 2/(t+1) 与类似动量的参数 αt = 2/(t+1)，以加速收敛。
• 通过李雅普诺夫函数方法推导收敛界，分析期望次优性间隙 E[Φ(xt) - Φ(x*)]，其依赖于平滑性、方差与问题结构。
• 通过伸缩和与涉及 D_U、L_g 和 σ²/μ 的递归不等式，建立理论收敛速率。

实验结果

研究问题

• RQ1 能否设计一种随机一阶算法，在最小化非光滑强凸函数时达到最优的 O(1/t) 收敛速率？
• RQ2 能否利用常见非光滑损失函数（如合页损失、绝对损失）的结构性质，设计出更快的随机优化算法？
• RQ3 ANSGD 在收敛速度与鲁棒性方面相较于经典 SGD 和次梯度方法表现如何？
• RQ4 Nesterov 的确定性平滑方法能否成功扩展至随机设置，并在最优收敛保证下实现？

主要发现

• ANSGD 在随机设置下对非光滑强凸函数的最小化实现了最优的 O(1/t) 收敛速率，优于经典 SGD（收敛速率为 O(ln t / t)）。
• 该算法是首个在无需 Polyak 平均化的情况下实现 O(1/t) 收敛速率的随机一阶方法，而 Polyak 平均化通常无法将速率提升至 O(ln t / t) 以上。
• 在真实世界数据集上的实证评估表明，ANSGD 的收敛速度显著快于当前最先进的次梯度与 SGD 方法。
• 理论分析证实，误差界按 O(1/t) 刻画，其常数依赖于问题的条件数、平滑性（L_g）与梯度方差（σ²/μ）。
• 收敛速率对平滑参数的选择具有鲁棒性，且当非光滑函数缺乏可分性或简单邻近结构时，该方法仍能保持最优复杂度。
• 与并行随机平滑方法相比，该方法在串行计算环境中实现了更优的边界。