[论文解读] Optimal mini-batch and step sizes for SAGA

Nidham Gazagnadou, Robert M. Gower+1 more|arXiv (Cornell University)|Jan 31, 2019

Stochastic Gradient Optimization Techniques参考文献 20被引用 18

一句话总结

本文提出了 SAGA 中期望光滑常数的闭式表达式，使得无需网格搜索即可实现最优小批量大小和步长选择。通过利用这些界，作者推导出理论上最优且更大的步长，并表明 SAGA 的总复杂度在达到最优点之前，随着小批量大小线性下降——这在随机方差缩减方法中极为罕见地实现了线性加速。

ABSTRACT

Recently it has been shown that the step sizes of a family of variance reduced gradient methods called the JacSketch methods depend on the expected smoothness constant. In particular, if this expected smoothness constant could be calculated a priori, then one could safely set much larger step sizes which would result in a much faster convergence rate. We fill in this gap, and provide simple closed form expressions for the expected smoothness constant and careful numerical experiments verifying these bounds. Using these bounds, and since the SAGA algorithm is part of this JacSketch family, we suggest a new standard practice for setting the step sizes and mini-batch size for SAGA that are competitive with a numerical grid search. Furthermore, we can now show that the total complexity of the SAGA algorithm decreases linearly in the mini-batch size up to a pre-defined value: the optimal mini-batch size. This is a rare result in the stochastic variance reduced literature, only previously shown for the Katyusha algorithm. Finally we conjecture that this is the case for many other stochastic variance reduced methods and that our bounds and analysis of the expected smoothness constant is key to extending these results.

研究动机与目标

• 通过实现对 SAGA 中控制步长和迭代复杂度的期望光滑常数的先验计算，弥合方差缩减优化中的差距。
• 推导出 SAGA 的实用、理论上最优的小批量和步长设置，其性能优于标准选择（如 b=1 或固定 b=20）。
• 证明 SAGA 的总复杂度在小批量大小达到最优值之前，随小批量大小线性下降，此前该结果仅在 Katyusha 中被证明。
• 为使用对期望光滑常数的改进界来提升收敛速度和稳定性，提供理论与实证依据。

提出的方法

• 推导 SAGA 中无放回小批量采样下期望光滑常数的简单上界。
• 提出一种改进的矩阵集中不等式，以获得期望光滑常数的更紧致的伯恩斯坦型界。
• 利用这些界计算出显著大于标准选择的最优步长，从而提升收敛速率。
• 提出一种基于期望光滑常数界的实用小批量大小估计 b_practical，避免昂贵的网格搜索。
• 将总迭代复杂度 K_total(b) 表述为小批量大小 b 的分段线性函数，表明在最优 b* 之前存在线性加速。
• 通过在真实和合成数据集上的大量数值实验，验证理论界和实用设置。

实验结果

研究问题

• RQ1 在 SAGA 的无放回小批量采样下，能否以闭式表达式计算期望光滑常数？
• RQ2 使总迭代复杂度最小化的 SAGA 最优小批量大小是什么？与 b=1 或 b=20 相比如何？
• RQ3 能否推导出显著大于标准选择的步长，同时保持收敛保证？
• RQ4 随着小批量大小增加，SAGA 是否表现出总复杂度的线性加速？持续到何种程度？
• RQ5 所提出的实用小批量大小 b_practical 与通过网格搜索获得的实验最优值有多接近？

主要发现

• 通过简单和改进的（伯恩斯坦型）不等式，可以以闭式表达式对 SAGA 在无放回小批量采样下的期望光滑常数进行界定。
• 基于这些界所提出的步长显著大于标准 SAGA（Defazio et al.）中的步长，且在实践中表现更优。
• SAGA 的总迭代复杂度 K_total(b) 是小批量大小 b 的分段线性函数，在达到最优批量大小 b* 之前呈线性下降。
• 最优小批量大小 b* 并非 b=1，且所提出的实用估计 b_practical 与通过网格搜索获得的实验最优值高度吻合。
• 在 covtype.binary 和 ijcnn1 等真实数据集上，所提设置在迭代轮次和实际运行时间上均比经典 SAGA 和 Hofmann 的设置实现更快收敛。
• 当小批量大小超过 b* 时，总复杂度急剧上升，证实了存在明确的最优小批量大小，并验证了理论分段线性复杂度模型的正确性。