[论文解读] Regularization Matters: A Nonparametric Perspective on Overparametrized Neural Network

Tianyang Hu, Wenjia Wang+2 more|arXiv (Cornell University)|Jul 5, 2020

Stochastic Gradient Optimization Techniques被引用 9

一句话总结

本文对过参数化的 ReLU 神经网络进行非参数分析，采用 l(2) 正则化，表明正则化梯度下降可实现最小最大最优 L² 估计误差，并通过神经正切核近似核岭回归，从而在噪声数据上提升泛化能力和鲁棒性。

ABSTRACT

Overparametrized neural networks trained by gradient descent (GD) can provably overfit any training data. However, the generalization guarantee may not hold for noisy data. From a nonparametric perspective, this paper studies how well overparametrized neural networks can recover the true target function in the presence of random noises. We establish a lower bound on the L-2 estimation error with respect to the GD iterations, which is away from zero without a delicate scheme of early stopping. In turn, through a comprehensive analysis of l(2)-regularized GD trajectories, we prove that for overparametrized one-hidden-layer ReLU neural network with the l(2) regularization: (1) the output is close to that of the kernel ridge regression with the corresponding neural tangent kernel; (2) minimax optimal rate of the L-2 estimation error can be achieved. Numerical experiments confirm our theory and further demonstrate that the l(2) regularization approach improves the training robustness and works for a wider range of neural networks.

研究动机与目标

• 从非参数视角理解过参数化神经网络在随机噪声下的泛化行为。
• 识别为何标准梯度下降在过拟合训练数据的同时仍无法在噪声数据上实现泛化。
• 建立在过参数化设置下正则化实现最优估计的条件。
• 通过神经正切核将正则化梯度下降轨迹与核岭回归联系起来。
• 通过数值实验验证理论结果，展示在多种网络架构下鲁棒性的提升。

提出的方法

• 推导标准梯度下降在 L² 估计误差上的下界，表明在无早停时误差始终远离零。
• 分析过参数化单隐藏层 ReLU 网络中 l(2)-正则化梯度下降的轨迹。
• 证明正则化梯度下降的输出收敛于对应神经正切核的核岭回归解。
• 在正则化框架下建立 L² 估计误差的最小最大最优性。
• 采用非参数分析技术，刻画噪声存在下的估计误差。
• 运用统计学习与优化领域的理论工具，对估计误差进行有界并连接至核方法。

实验结果

研究问题

• RQ1 为何标准梯度下降在过拟合训练数据的同时仍无法在噪声数据上实现泛化？
• RQ2 l(2) 正则化是否能在噪声条件下使过参数化 ReLU 网络实现最优估计？
• RQ3 在过参数化条件下，l(2)-正则化梯度下降的轨迹如何与核岭回归关联？
• RQ4 过参数化 ReLU 网络在 l(2) 正则化下的 L² 估计误差的最小最大最优率是多少？
• RQ5 l(2) 正则化是否在不同神经网络架构中均提升训练鲁棒性？

主要发现

• 在无早停时，标准梯度下降在过参数化 ReLU 网络上无法在噪声数据上实现零 L² 估计误差，其下界严格远离零。
• l(2)-正则化梯度下降在过参数化设置下实现了 L² 估计误差的最小最大最优率。
• l(2)-正则化梯度下降的输出能紧密逼近神经正切核对应的核岭回归解。
• 理论分析证实，正则化可在随机噪声存在下实现一致估计。
• 数值实验验证了理论结果，表明在多种网络配置下均表现出提升的鲁棒性与泛化能力。
• l(2) 正则化方法不仅适用于特定的单隐藏层设置，还可推广至更广泛的过参数化网络类别。