[论文解读] Variance Reduction via Accelerated Dual Averaging for Finite-Sum Optimization

Chaobing Song, Yong Jiang+1 more|arXiv (Cornell University)|Jun 18, 2020

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

该论文提出方差减少加速对偶平均（VRADA），一种用于有限和凸优化的统一算法，可在 $O(n\log\log n)$ 次随机梯度评估中实现 $O(1/n)$-精度解，优于已知的最佳 $O(n\log n)$ 复杂度。VRADA 在一般和强凸设置下均达到已知理论下界，且在不同场景下实现了简化且统一的收敛性分析。

ABSTRACT

In this paper, we introduce a simplified and unified method for finite-sum convex optimization, named \emph{Variance Reduction via Accelerated Dual Averaging (VRADA)}. In both general convex and strongly convex settings, VRADA can attain an $O\big(\frac{1}{n}\big)$-accurate solution in $O(n\log\log n)$ number of stochastic gradient evaluations which improves the best-known result $O(n\log n)$, where $n$ is the number of samples. Meanwhile, VRADA matches the lower bound of the general convex setting up to a $\log\log n$ factor and matches the lower bounds in both regimes $n\le Θ(κ)$ and $n\gg κ$ of the strongly convex setting, where $κ$ denotes the condition number. Besides improving the best-known results and matching all the above lower bounds simultaneously, VRADA has more unified and simplified algorithmic implementation and convergence analysis for both the general convex and strongly convex settings. The underlying novel approaches such as the novel initialization strategy in VRADA may be of independent interest. Through experiments on real datasets, we show the good performance of VRADA over existing methods for large-scale machine learning problems.

研究动机与目标

• 通过减少梯度方差，解决大规模有限和优化中随机梯度下降（SGD）的高迭代复杂度问题。
• 设计一种在一般凸和强凸设置下均高效运行的统一算法，无需为不同情形分别设计。
• 实现 $O(n\log\log n)$ 的改进迭代复杂度，以获得 $O(1/n)$-精度解，超越先前最优的 $O(n\log n)$。
• 在一般凸和强凸情形下均匹配已知理论下界，包括 $n \leq \Theta(\kappa)$ 和 $n \gg \kappa$ 的情形。
• 提供一种简化且统一的收敛性分析，避免先前方法的复杂性，提升算法的清晰度与可实现性。

提出的方法

• 在 VRADA 中引入一种新颖的初始化策略，实现对一般凸和强凸设置的统一处理。
• 利用加速对偶平均，整合动量与方差减少，提升收敛速度。
• 采用形式为 $\tilde{\nabla}g_i(\mathbf{x}) = \nabla g_i(\mathbf{x}) - \nabla g_i(\tilde{\mathbf{x}}) + \nabla g(\tilde{\mathbf{x}})$ 的方差减少梯度估计器，其中 $\tilde{\mathbf{x}}$ 为锚点。
• 维持一种对偶平均更新机制，随时间累积梯度，实现类似动量的加速并控制方差。
• 应用统一的收敛性分析框架，使用相同的核心结构同时处理 $\sigma = 0$（一般凸）和 $\sigma > 0$（强凸）情形。
• 引入一种新颖的李雅普诺夫函数，并利用其推导出期望最优性间隙的上界，从而得出 $O(n\log\log n)$ 的复杂度。

实验结果

研究问题

• RQ1 能否设计一种单一算法，在一般凸和强凸有限和优化问题中均实现最优收敛复杂度？
• RQ2 是否可能在有限和设置下统一方差减少与加速的分析与实现？
• RQ3 在有限和问题中，实现 $O(1/n)$-精度所需的最少随机梯度评估次数是多少？
• RQ4 该算法是否能在一般凸和强凸情形下均匹配已知下界，包括 $n \leq \Theta(\kappa)$ 和 $n \gg \kappa$ 的情形？
• RQ5 与先前的加速方差减少方法相比，简化后的初始化与更新机制是否能带来更好的实际性能与理论清晰度？

主要发现

• VRADA 在 $O(n\log\log n)$ 次随机梯度评估中实现 $O(1/n)$-精度解，优于先前最优的 $O(n\log n)$ 复杂度。
• 该算法在一般凸有限和优化中达到已知下界，仅相差 $\log\log n$ 因子。
• 在强凸情形下，VRADA 在 $n \leq \Theta(\kappa)$ 和 $n \gg \kappa$ 两种情形下均匹配下界。
• 在真实数据集（a9a 和 covtype）上的实验表明，VRADA 在性能上显著优于 SVRG、Katyusha 和 MiG，尤其在条件数较大的场景中。
• 该算法在三种情形下均保持优异性能：一般凸（$\lambda = 0$）、大条件数（$\lambda = 10^{-8}$）和小条件数（$\lambda = 10^{-4}$），验证了其统一设计的有效性。
• VRADA 中新颖的初始化策略有助于更好的误差抵消，使参数调优更具攻击性，尤其在强凸设置中表现突出。