[论文解读] Online Adaptive Methods, Universality and Acceleration

Kfir Y. Levy, Alp Yurtsever+1 more|arXiv (Cornell University)|Sep 8, 2018

Stochastic Gradient Optimization Techniques被引用 27

一句话总结

该论文提出 AcceleGrad，一种新颖的在线自适应优化方法，统一实现了光滑目标的加速收敛、非光滑目标的标准收敛以及随机设置下的鲁棒性能，且无需事先知晓光滑性或噪声水平。通过将重要性加权的自适应学习率与线性耦合的双序列更新规则相结合，AcceleGrad 在光滑情况下实现了 $\mathcal{O}(1/T^2)$ 的加速率，在一般情况下实现了 $\mathcal{O}(1/\sqrt{T})$ 的收敛率，同时首次建立了带加速的 AdaGrad 的普适性结果。

ABSTRACT

We present a novel method for convex unconstrained optimization that, without any modifications, ensures: (i) accelerated convergence rate for smooth objectives, (ii) standard convergence rate in the general (non-smooth) setting, and (iii) standard convergence rate in the stochastic optimization setting. To the best of our knowledge, this is the first method that simultaneously applies to all of the above settings. At the heart of our method is an adaptive learning rate rule that employs importance weights, in the spirit of adaptive online learning algorithms (Duchi et al., 2011; Levy, 2017), combined with an update that linearly couples two sequences, in the spirit of (Allen-Zhu and Orecchia, 2017). An empirical examination of our method demonstrates its applicability to the above mentioned scenarios and corroborates our theoretical findings.

研究动机与目标

• 开发一种单一优化方法，在光滑凸优化设置下实现加速收敛，在非光滑设置下实现标准收敛率，并在随机设置下保持鲁棒性能。
• 解决长期存在的挑战：在优化中同时实现加速与对噪声和未知光滑性的自适应性。
• 在随机设置下建立 AdaGrad 的普适性，扩展其已知的对噪声反馈的鲁棒性。
• 统一两大核心范式：自适应在线学习（如 AdaGrad）与加速梯度方法（如 Nesterov），且无需线搜索或事先参数调优。

提出的方法

• 该方法采用受在线学习中重要性加权启发的自适应学习率规则（Duchi 等，2011；Levy，2017），根据历史梯度动态调整步长。
• 它引入了一种双序列间的线性耦合机制，借鉴 Allen-Zhu 和 Orecchia（2017）的框架，以实现类似动量的加速效果。
• 该算法设计为无需事先知晓光滑性或噪声方差，使其在不同优化范式下具有普适性。
• 更新规则集成了自适应步长与动量分量，平衡了探索与收敛速度。
• 该方法对投影误差具有鲁棒性，在无约束设置下即使省略投影步骤也能表现良好。
• 通过合成数据集和真实世界数据集（如 RCV1）进行实证验证，比较 AcceleGrad 与 AdaGrad 及通用方法在不同小批量大小下的表现。

实验结果

研究问题

• RQ1 能否设计一种单一优化算法，在不事先知晓光滑性的情况下，实现光滑凸优化中的加速收敛？
• RQ2 能否证明自适应方法（如 AdaGrad）在存在光滑性时，即使未显式提供光滑性信息，也能实现加速率？
• RQ3 能否设计一种普适方法，同时在光滑、非光滑和随机设置下实现最优收敛率？
• RQ4 在分布式或大规模设置下，自适应加速方法的性能如何随小批量大小增加而变化？

主要发现

• AcceleGrad 在光滑凸目标下实现了 $\mathcal{O}(1/T^2)$ 的加速收敛率，在一般凸目标下实现了 $\tilde{\mathcal{O}}(1/\sqrt{T})$ 的收敛率，且无需知晓光滑性信息。
• 在随机设置下，AcceleGrad 无需修改即可确保 $\tilde{\mathcal{O}}(1/\sqrt{T})$ 的收敛率，与随机次梯度方法的标准率一致。
• 本文证明了当期望损失为光滑时，AdaGrad 在随机设置下的收敛率为 $\mathcal{O}(1/T + \sigma/\sqrt{T})$，从而确立了其普适性（无加速）。
• 实证结果表明，当需要高精度时，AcceleGrad 在大批次设置下优于 AdaGrad，因为其收敛率随批次大小 $b$ 增大趋近于 $\mathcal{O}(b^2/S^2)$，而 AdaGrad 的收敛率退化为 $\mathcal{O}(b/S)$。
• 即使省略投影步骤，该方法依然有效，且在某些情况下省略投影后性能略有提升。
• 在 RCV1 数据集上的逻辑回归与 SVM 任务中，随着小批量大小增加，AcceleGrad 保持或改善了性能，而 AdaGrad 在 $b=1000$ 之后性能开始下降。