[论文解读] On Learning Over-parameterized Neural Networks: A Functional Approximation Perspective

Lili Su, Pengkun Yang|arXiv (Cornell University)|Jan 1, 2019

Stochastic Gradient Optimization Techniques被引用 22

一句话总结

本文通过将优化过程建模为从输入分布导出的积分算子的幂，研究了过参数化两层ReLU网络在梯度下降训练下的行为。研究表明，当宽度为 Ω(n log n) 时，经验风险线性收敛至目标函数的低秩近似误差，收敛速率与样本量 n 无关；并证明近线性过参数化已足够实现快速收敛。

ABSTRACT

We consider training over-parameterized two-layer neural networks with Rectified Linear Unit (ReLU) using gradient descent (GD) method. Inspired by a recent line of work, we study the evolutions of network prediction errors across GD iterations, which can be neatly described in a matrix form. When the network is sufficiently over-parameterized, these matrices individually approximate {\em an} integral operator which is determined by the feature vector distribution $ ho$ only. Consequently, GD method can be viewed as {\em approximately} applying the powers of this integral operator on the underlying/target function $f^*$ that generates the responses/labels. We show that if $f^*$ admits a low-rank approximation with respect to the eigenspaces of this integral operator, then the empirical risk decreases to this low rank approximation error at a linear rate which is determined by $f^*$ and $ ho$ only, i.e., the rate is independent of the sample size $n$. Furthermore, if $f^*$ has zero low-rank approximation error, then, as long as the width of the neural network is $\Omega(n\log n)$, the empirical risk decreases to $\Theta(1/\sqrt{n})$. To the best of our knowledge, this is the first result showing the sufficiency of nearly-linear network over-parameterization. We provide an application of our general results to the setting where $ ho$ is the uniform distribution on the spheres and $f^*$ is a polynomial. Throughout this paper, we consider the scenario where the input dimension $d$ is fixed.

研究动机与目标

• 理解梯度下降下过参数化两层ReLU网络的泛化与优化动态。
• 刻画预测误差演化与输入分布诱导的积分算子之间的关系。
• 建立梯度下降实现对目标函数低秩近似快速线性收敛的条件。
• 确定实现收敛所需的最小过参数化水平，特别是网络宽度相对于样本量的关系。

提出的方法

• 使用反映积分算子结构的矩阵表示，建模梯度下降迭代过程中预测误差的演化。
• 证明在过参数化 regime 下，类似 Hessian 的矩阵收敛至仅由输入分布 $\rho$ 决定的积分算子。
• 将梯度下降动态近似为对目标函数 $f^*$ 反复作用该积分算子的幂。
• 通过积分算子的谱分析，证明收敛速度仅依赖于 $f^*$ 和 $\rho$，而与样本量 $n$ 无关。
• 证明当 $f^*$ 在积分算子的特征空间中存在低秩近似时，经验风险呈线性衰减。
• 证明当网络宽度为 $\Omega(n\log n)$ 时，若低秩误差为零，则风险收敛至 $\Theta(1/\sqrt{n})$。

实验结果

研究问题

• RQ1 梯度下降如何在函数逼近意义上优化过参数化ReLU网络？
• RQ2 输入分布 $\rho$ 在决定梯度下降收敛速率中起什么作用？
• RQ3 近线性过参数化（$\Omega(n\log n)$）是否足以实现对目标函数的快速收敛？
• RQ4 在何种条件下，经验风险以与样本量 $n$ 无关的方式线性衰减？
• RQ5 目标函数 $f^*$ 相对于积分算子的谱结构如何影响优化动态？

主要发现

• 当目标函数 $f^*$ 在积分算子的特征空间中存在低秩近似时，经验风险以仅由 $f^*$ 和 $\rho$ 决定的速率线性衰减，与样本量 $n$ 无关。
• 当网络宽度为 $\Omega(n\log n)$ 且 $f^*$ 的低秩近似误差为零时，经验风险收敛至 $\Theta(1/\sqrt{n})$。
• 梯度下降的优化动态近似等价于对输入分布 $\rho$ 导出的积分算子反复作用其幂。
• 收敛速率与样本数量 $n$ 无关，凸显了过参数化网络的根本特性。
• 分析表明，近线性过参数化已足够实现快速收敛，这是文献中的新发现。
• 结果在固定输入维度 $d$ 下成立，聚焦于网络宽度、样本量与函数复杂度之间的相互作用。