[论文解读] When Does Preconditioning Help or Hurt Generalization?

Шун-ичи Амари, Jimmy Ba+6 more|arXiv (Cornell University)|Jun 18, 2020

Sparse and Compressive Sensing Techniques参考文献 88被引用 11

一句话总结

本文在预条件梯度下降下的过参数化无正则化线性回归中，提供了泛化误差的精确渐近偏差-方差分解，表明当标签存在噪声、模型误设或信号与特征错位时，自然梯度下降（NGD）的泛化性能优于梯度下降（GD）；反之，当标签干净、模型设定正确或信号与特征对齐时，GD的泛化性能更优。

ABSTRACT

While second order optimizers such as natural gradient descent (NGD) often speed up optimization, their effect on generalization has been called into question. This work presents a more nuanced view on how the extit{implicit bias} of first- and second-order methods affects the comparison of generalization properties. We provide an exact asymptotic bias-variance decomposition of the generalization error of overparameterized ridgeless regression under a general class of preconditioner $\boldsymbol{P}$, and consider the inverse population Fisher information matrix (used in NGD) as a particular example. We determine the optimal $\boldsymbol{P}$ for both the bias and variance, and find that the relative generalization performance of different optimizers depends on the label noise and the "shape" of the signal (true parameters): when the labels are noisy, the model is misspecified, or the signal is misaligned with the features, NGD can achieve lower risk; conversely, GD generalizes better than NGD under clean labels, a well-specified model, or aligned signal. Based on this analysis, we discuss several approaches to manage the bias-variance tradeoff, and the potential benefit of interpolating between GD and NGD. We then extend our analysis to regression in the reproducing kernel Hilbert space and demonstrate that preconditioned GD can decrease the population risk faster than GD. Lastly, we empirically compare the generalization error of first- and second-order optimizers in neural network experiments, and observe robust trends matching our theoretical analysis.

研究动机与目标

• 理解一阶和二阶优化器在泛化性能中的隐式偏差。
• 研究预条件化在过参数化无正则化回归中的泛化影响。
• 刻画NGD优于GD以及反之的条件。
• 将理论发现扩展至再生核希尔伯特空间，并通过神经网络实验进行验证。

提出的方法

• 利用随机矩阵理论，在过参数化无正则化回归中推导出泛化误差的精确渐近偏差-方差分解。
• 考虑一类广义预条件矩阵P，其中逆总体Fisher信息矩阵（NGD中使用）为特定情形。
• 在时间不变预条件矩阵下，以偏差和方差分量表示总体风险。
• 分别识别最小化偏差和方差的最优P，揭示其中的权衡关系。
• 将分析扩展至再生核希尔伯特空间中的回归，表明预条件GD比GD更快速降低总体风险。
• 通过神经网络中的实验评估一阶和二阶优化器的泛化误差，验证理论趋势。

实验结果

研究问题

• RQ1 在何种条件下，通过NGD的预条件化相比GD能改善泛化性能？
• RQ2 标签噪声或模型误设如何影响NGD与GD相对泛化性能？
• RQ3 信号与特征错位在预条件优化器的偏差-方差权衡中起什么作用？
• RQ4 在GD与NGD之间插值能否通过平衡偏差与方差来改善泛化性能？
• RQ5 预条件化如何影响核方法中的收敛速度和总体风险？

主要发现

• 当标签存在噪声、模型误设或信号与特征错位时，NGD的泛化性能优于GD。
• 在标签干净、模型设定正确或信号与特征对齐时，GD的泛化性能优于NGD。
• 最小化偏差和方差的最优预条件矩阵不同，表明泛化性能存在根本性权衡。
• 在特殊情形γ=2下，GD与NGD偏差相等的临界指数r*恰好为-1/2。
• 在再生核希尔伯特空间设置中，预条件GD比GD更快速降低总体风险。
• 神经网络实验显示稳健的实验趋势与理论偏差-方差分析一致。