[论文解读] Statistical Optimality of Stochastic Gradient Descent on Hard Learning Problems through Multiple Passes

Loucas Pillaud‐Vivien, Alessandro Rudi+1 more|arXiv (Cornell University)|May 25, 2018

Stochastic Gradient Optimization Techniques被引用 39

一句话总结

该论文表明，在最小二乘回归中，对于特征协方差矩阵的特征值衰减缓慢且预测器复杂度高的困难学习问题，对数据进行多次遍历是随机梯度下降（SGD）的统计最优策略，而单次遍历的SGD则为次优。最优遍历次数随样本量 $ n $ 以 $ n^{(\beta)} $ 的方式增长，其中指数取决于问题特定的参数 $ \alpha $ 和 $ r $，从而弥合了经验实践与理论理解之间的长期差距。

ABSTRACT

We consider stochastic gradient descent (SGD) for least-squares regression with potentially several passes over the data. While several passes have been widely reported to perform practically better in terms of predictive performance on unseen data, the existing theoretical analysis of SGD suggests that a single pass is statistically optimal. While this is true for low-dimensional easy problems, we show that for hard problems, multiple passes lead to statistically optimal predictions while single pass does not; we also show that in these hard models, the optimal number of passes over the data increases with sample size. In order to define the notion of hardness and show that our predictive performances are optimal, we consider potentially infinite-dimensional models and notions typically associated to kernel methods, namely, the decay of eigenvalues of the covariance matrix of the features and the complexity of the optimal predictor as measured through the covariance matrix. We illustrate our results on synthetic experiments with non-linear kernel methods and on a classical benchmark with a linear model.

研究动机与目标

• 解决在SGD中多次遍历的实证成功与理论结果倾向于单次遍历以实现最优性能之间的差异。
• 定义并表征需要多次遍历才能实现统计最优性的“困难”学习问题。
• 推导出实现极小化最大预测率 $ O(n^{-2r\alpha/(2r\alpha+1)}) $ 所需的最优数据遍历次数，其表达式基于问题参数 $ \alpha $ 和 $ r $。
• 利用核方法中的工具，将理论分析从有限维模型扩展到无限维设置，从而获得非平凡的、与维度无关的界。
• 通过使用核方法的合成实验和高维线性模型的真实世界基准，验证理论预测的最优遍历次数的缩放关系。

提出的方法

• 该分析使用无限维特征空间，并通过两个参数表征问题难度：$ \alpha $，控制输入协方差矩阵 $ \Sigma $ 的特征值衰减速率；$ r $，通过 $ \langle \theta_*, \Sigma^{1-2r} \theta_* \rangle $ 衡量最优预测器 $ \theta_* $ 的复杂度。
• 论文推导出极小化最大预测率 $ O(n^{-2r\alpha/(2r\alpha+1)}) $，该结果作为统计最优性的基准。
• 证明对于困难问题（$ r \leq \frac{\alpha-1}{2\alpha} $），单次遍历SGD仅能达到 $ O(n^{-2r}) $ 的性能，而采用 $ \Theta(n^{(\alpha-1-2r\alpha)/(1+2r\alpha)}) $ 次遍历的多遍历SGD可实现最优率。
• 通过使用集中不等式和高概率界，建立理论保证，通过仔细选择学习率和正则化参数以满足主定理中的技术条件。
• 该方法适用于参数模型（高维线性回归）和非参数模型（核方法），统一使用特征值衰减和预测器复杂度的框架。
• 实验使用具有已知 $ \alpha $ 和 $ r $ 的合成数据，以及高维线性模型的真实世界基准，比较无放回采样和循环采样等不同采样策略下的性能。

实验结果

研究问题

• RQ1 在最小二乘回归中，对于困难学习问题，多次遍历SGD在理论上是否优于单次遍历SGD？
• RQ2 在样本量和问题参数下，实现统计最优性的最优数据遍历次数是多少？
• RQ3 特征值衰减速率 $ \alpha $ 和预测器复杂度 $ r $ 如何共同决定SGD的统计性能？
• RQ4 核方法的理论框架能否扩展到高维有限维模型，以获得非平凡的界？
• RQ5 在困难问题中，最优遍历次数是否随样本量增长？如果是，其增长速率如何？

主要发现

• 对于满足 $ r \leq \frac{\alpha-1}{2\alpha} $ 的困难问题，单次遍历平均SGD的预测误差为 $ O(n^{-2r}) $，相比极小化最大率 $ O(n^{-2r\alpha/(2r\alpha+1)}) $ 为次优。
• 当采用 $ \Theta(n^{(\alpha-1-2r\alpha)/(1+2r\alpha)}) $ 次遍历时，多遍历SGD可实现极小化最大最优预测率 $ O(n^{-2r\alpha/(2r\alpha+1)}) $。
• 最优遍历次数随样本量 $ n $ 增加，且指数明确依赖于问题参数 $ \alpha $ 和 $ r $，证实了越困难的问题需要越多遍历。
• 在使用核方法的合成实验中，最优遍历次数的理论预测缩放关系与观察到的性能衰减一致，验证了理论界。
• 在高维线性模型中，所需遍历次数随 $ n $ 增加，与理论预测一致，即使特征维度超过样本量也成立。
• 该分析适用于有限维模型和非参数核方法，通过在无限维特征空间中统一使用特征值衰减和预测器复杂度实现统一。