[论文解读] Starting Small -- Learning with Adaptive Sample Sizes

Hadi Daneshmand, Aurélien Lucchi+1 more|arXiv (Cornell University)|Mar 9, 2016

Stochastic Gradient Optimization Techniques参考文献 29被引用 13

一句话总结

该论文提出 dynaSAGA，一种新颖的自适应采样算法，通过在优化过程中动态增加训练样本规模，加速收敛至统计精度。通过从较小批量开始并逐步扩大规模，它仅用 2n 次迭代即可达到统计精度——远快于传统方法所需的 n log n 步骤。该方法利用了 SAGA 等方差缩减随机优化方法所具备的有利收敛特性。

ABSTRACT

For many machine learning problems, data is abundant and it may be prohibitive to make multiple passes through the full training set. In this context, we investigate strategies for dynamically increasing the effective sample size, when using iterative methods such as stochastic gradient descent. Our interest is motivated by the rise of variance-reduced methods, which achieve linear convergence rates that scale favorably for smaller sample sizes. Exploiting this feature, we show -- theoretically and empirically -- how to obtain significant speed-ups with a novel algorithm that reaches statistical accuracy on an $n$-sample in $2n$, instead of $n \log n$ steps.

研究动机与目标

• 解决标准优化方法在 n 个样本数据集上达到统计精度需 n log n 次迭代的低效问题。
• 探索大规模机器学习中计算精度与统计精度之间的权衡。
• 开发一种在优化过程中动态控制有效样本规模的策略，以提升收敛速度。
• 利用 SAGA 等方差缩减方法在小样本规模下的有利收敛行为。
• 证明从较小样本开始并逐步增加样本规模，可实现比固定批量方法更快的收敛速度。

提出的方法

• 该算法随时间动态增加有效样本规模，起始于训练数据的一个小子集。
• 它以 SAGA 算法作为底层优化引擎，该算法在 n 个样本下的收敛速率为 ρₙ = 1 − min(1/n, μ/L)。
• 在特定时间间隔内以受控方式增加样本规模，使当前样本规模的统计精度与优化误差相匹配。
• 该方法确保优化误差 ε(n) 的衰减速率与统计误差 H(n) 相匹配，从而在两者平衡时实现早期停止。
• 该算法设计使得所有样本规模下的总迭代次数保持有界，可在 2n 步内实现收敛。
• 理论分析表明，次优性以依赖于当前样本规模的速率呈指数衰减，从而实现快速收敛。

实验结果

研究问题

• RQ1 在优化过程中动态增加样本规模，是否能比固定批量方法更快地收敛至统计精度？
• RQ2 SAGA 的收敛速率如何依赖于样本规模，是否可被用于自适应采样？
• RQ3 随时间增加样本规模的最优策略是什么，以平衡统计误差与计算误差？
• RQ4 通过从小样本开始并逐步增加，能否在少于 n log n 次迭代内实现统计精度？
• RQ5 对于此类自适应采样策略的收敛性，可提供哪些理论保证？

主要发现

• 所提出的 dynaSAGA 算法仅用 2n 次迭代即可达到统计精度，显著快于标准的 n log n 复杂度。
• 理论分析表明，SAGA 的次优性以速率 ρₙ = 1 − min(1/n, μ/L) 呈指数衰减，该速率在小 n 时尤为有利。
• 实验结果证实，从较小样本开始并逐步增加，相比固定批量方法可实现更快的收敛速度。
• 该方法通过使样本规模与算法进展同步增加，实现了优化误差 ε(n) 与统计误差 H(n) 的平衡。
• 由于 SAGA 收敛性对 n 的有利依赖，即使样本规模增大，该算法仍能保持线性收敛速率。
• 该方法特别适用于 SAGA 等方差缩减方法，这些方法在小样本上表现出强大的收敛行为。