[论文解读] Variance Reduced Stochastic Gradient Descent with Neighbors

Thomas Hofmann, Aurélien Lucchi+2 more|arXiv (Cornell University)|Jun 11, 2015

Stochastic Gradient Optimization Techniques参考文献 13被引用 19

一句话总结

该论文提出 $ε\mathcal{N}$-SAGA，一种方差缩减的随机梯度下降方法，通过利用训练数据中的邻域结构来共享和重用过去的随机梯度，从而在优化的早期阶段实现更快的收敛速度。该方法采用通用步长选择，实现了几何收敛速率，并在瞬态阶段持续展现出相较于 SAGA 和 $q$-SAGA 的加速效果，尤其在小批量训练轮次下表现显著。

ABSTRACT

Stochastic Gradient Descent (SGD) is a workhorse in machine learning, yet its slow convergence can be a computational bottleneck. Variance reduction techniques such as SAG, SVRG and SAGA have been proposed to overcome this weakness, achieving linear convergence. However, these methods are either based on computations of full gradients at pivot points, or on keeping per data point corrections in memory. Therefore speed-ups relative to SGD may need a minimal number of epochs in order to materialize. This paper investigates algorithms that can exploit neighborhood structure in the training data to share and re-use information about past stochastic gradients across data points, which offers advantages in the transient optimization phase. As a side-product we provide a unified convergence analysis for a family of variance reduction algorithms, which we call memorization algorithms. We provide experimental results supporting our theory.

研究动机与目标

• 通过利用数据相似性，解决标准 SGD 在优化早期阶段收敛缓慢的问题。
• 在“记忆算法”框架下，为方差缩减算法（包括 SAGA 和 SVRG）建立统一的收敛性分析。
• 研究基于过去随机梯度构建的方差校正项中，新鲜度与偏差之间的权衡关系。
• 提出并评估 $\epsilon\mathcal{N}$-SAGA，一种新颖算法，通过邻近数据点计算近似校正项，以提升瞬态阶段性能。
• 通过实证结果表明，基于邻近点的近似校正可在极少数训练轮次内显著提升早期训练速度。

提出的方法

• 提出一类名为“记忆算法”的算法族，该族算法泛化了 SAGA 和 SVRG，其中每个数据点均维护过去梯度的记忆。
• 引入 $\epsilon\mathcal{N}$-SAGA，其方差校正项并非来自单个历史梯度，而是来自邻近数据点梯度的加权平均。
• 在训练数据上定义邻域系统，以识别相似数据点，从而实现点间的信息共享，以近似过去梯度。
• 采用步长 $\gamma < \frac{1}{4L}$，其选择为通用形式，与强凸参数 $\mu$ 无关，确保几何收敛。
• 采用统一的收敛性分析框架，适用于所有记忆算法，包括 SAGA、SVRG 和 $q$-SAGA。
• 通过子最优性指标在更新步数和梯度计算次数上的对比，对 $\epsilon\mathcal{N}$-SAGA 与 SAGA、$q$-SAGA 和 SGD 进行实验比较。

实验结果

研究问题

• RQ1 能否利用训练数据中的邻域结构，提升方差缩减 SGD 在优化早期阶段的收敛速度？
• RQ2 在使用基于邻近点的近似梯度时，梯度校正的新鲜度与偏差之间存在何种权衡？
• RQ3 能否推导出一种通用步长选择，使其在不同 $\mu$ 值下均能保证几何收敛，包括 SVRG 的 $\mu$ 自适应收敛？
• RQ4 在小批量训练轮次下，$\epsilon\mathcal{N}$-SAGA 与 SAGA 和 $q$-SAGA 相比，在收敛速度和子最优性方面表现如何？
• RQ5 基于邻近点的近似方差校正能在多大程度上保持收敛保证，同时降低计算开销？

主要发现

• 所提出的 $\epsilon\mathcal{N}$-SAGA 算法在早期训练阶段持续展现出相较于 SAGA 和 $q$-SAGA 的加速效果，尤其在 2–10 个训练轮次内表现显著。
• 当采用步长 $\gamma = \frac{q}{\mu n}$ 时，$\epsilon\mathcal{N}$-SAGA 的收敛性能在 SAGA 和 $q$-SAGA 之间紧密对齐，表明其有效利用了梯度的新鲜度。
• 该算法的子最优性在由 $\epsilon$ 决定的某一点趋于平稳，意味着其在渐近收敛时无法达到零子最优性，与 SAGA 不同。
• SAGA 超过 $\epsilon\mathcal{N}$-SAGA 的交叉点通常出现在 5–15 个训练轮次之后，表明 $\epsilon\mathcal{N}$-SAGA 在早期学习阶段最具优势。
• 理论分析提供了通用步长 $\gamma < \frac{1}{4L}$，可确保记忆算法族中所有方法（包括 SVRG 的 $\mu$ 自适应收敛）实现几何收敛。
• 实证结果证实，基于邻近数据点的近似方差校正可显著降低早期迭代的子最优性，验证了计算开销与解精度之间的权衡。