[论文解读] On the Effectiveness of Richardson Extrapolation in Machine Learning

Francis Bach|arXiv (Cornell University)|Feb 7, 2020

Stochastic Gradient Optimization Techniques参考文献 43被引用 7

一句话总结

本文研究了理查森外推法在机器学习中的有效性，证明其可通过结合不同超参数值（如迭代次数或正则化参数）的估计，在不修改底层算法的前提下，加速迭代优化算法的收敛速度。该方法在平均梯度下降和多面体上的Frank-Wolfe算法中实现了渐近收敛率$O(1/k^2)$，在Nesterov平滑和岭回归中实现了接近$O(1/k^2)$的收敛率，具有理论依据并得到实证验证。

ABSTRACT

Richardson extrapolation is a classical technique from numerical analysis that can improve the approximation error of an estimation method by combining linearly several estimates obtained from different values of one of its hyperparameters, without the need to know in details the inner structure of the original estimation method. The main goal of this paper is to study when Richardson extrapolation can be used within machine learning, beyond the existing applications to step-size adaptations in stochastic gradient descent. We identify two situations where Richardson interpolation can be useful: (1) when the hyperparameter is the number of iterations of an existing iterative optimization algorithm, with applications to averaged gradient descent and Frank-Wolfe algorithms (where we obtain asymptotically rates of $O(1/k^2)$ on polytopes, where $k$ is the number of iterations), and (2) when it is a regularization parameter, with applications to Nesterov smoothing techniques for minimizing non-smooth functions (where we obtain asymptotically rates close to $O(1/k^2)$ for non-smooth functions), and ridge regression. In all these cases, we show that extrapolation techniques come with no significant loss in performance, but with sometimes strong gains, and we provide theoretical justifications based on asymptotic developments for such gains, as well as empirical illustrations on classical problems from machine learning.

研究动机与目标

• 探究理查森外推法是否可有效应用于随机梯度下降中的步长调节之外的场景。
• 识别在何种条件下外推法能提升迭代机器学习算法的收敛速率。
• 基于算法迭代的渐近展开，为性能提升提供理论依据。
• 在经典机器学习问题（如岭回归和非光滑优化）上，通过实证方法验证该方法的有效性。
• 将外推法的应用扩展至正则化参数和迭代次数作为超参数。

提出的方法

• 利用理查森外推法，结合不同超参数$t$（如迭代次数$k$或正则化参数$\lambda$）下的估计值，以消除主导阶误差项。
• 应用外推公式$x^{(1)}_t = 2x_t - x_{2^{1/\alpha}t}$，其中$\alpha = -1$（对应迭代次数）和$\alpha = 1$（对应正则化参数），假设存在渐近展开$x_t = x_* + t^\alpha \Delta + O(t^\beta)$。
• 通过二项式系数和类似范德蒙德的线性系统，推导出外推估计量的显式表达式，从而获得核矩阵上的闭式谱函数。
• 在核岭回归中，建立外推估计量$\hat{H}^{(m)}_\lambda$的偏差与方差界，表明其依赖于$m$、$\lambda$和$n$。
• 利用积分表示和伽马函数，推导出外推平滑矩阵的闭式表达式$s(\mu) = 1 - \frac{(m+1)!}{(\mu+1)\cdots(\mu+m+1)}$。
• 通过标准机器学习问题上的实证结果验证理论发现，表明该方法在不损失性能的前提下显著提升了收敛速度。

实验结果

研究问题

• RQ1 理查森外推法是否可有效应用于平均梯度下降和Frank-Wolfe等迭代优化算法中的迭代次数？
• RQ2 理查森外推法是否可通过Nesterov平滑技术提升非光滑优化的收敛速率？
• RQ3 对外推法应用于正则化参数是否能降低岭回归中的偏差并提升估计器性能？
• RQ4 理查森外推法在何种理论条件下可实现$O(1/k^2)$的渐近收敛速率？
• RQ5 外推估计量的偏差与方差如何随外推步数$m$和正则化参数$\lambda$变化？

主要发现

• 理查森外推法在多面体上的平均梯度下降和Frank-Wolfe算法中实现了$O(1/k^2)$的渐近收敛速率，显著优于标准的$O(1/k)$速率。
• 在非光滑优化的Nesterov平滑方法中，该方法实现了接近$O(1/k^2)$的收敛速率，表明其在处理不可微目标函数时具有有效性。
• 在岭回归中，外推法生成的估计量具有更低的偏差，理论偏差界显示其随$O(n^{2m+1}\lambda^{2m+2})$变化。
• 外推估计量$\hat{H}^{(m)}\_\lambda$的方差被界为$\triangle_m \sigma^2 / n \cdot \mathrm{tr}[K(K+n\lambda I)^{-1}]^2$，其中$\triangle_m$与$n$和$\lambda$无关。
• 闭式表达式$s(\mu) = 1 - \frac{(m+1)!}{(\mu+1)\cdots(\mu+m+1)}$为外推核矩阵提供了谱函数，支持高效计算。
• 当$m \to \infty$时，$s(\mu) \to 1$，但常数$\square_m$和$\triangle_m$发散，表明尽管偏差减小，方差仅缓慢收敛至$\sigma^2$，限制了大$m$时的实际收益。