[论文解读] The merged-staircase property: a necessary and nearly sufficient condition for SGD learning of sparse functions on two-layer neural networks

Emmanuel Abbé, Enric Boix-Adserà+1 more|arXiv (Cornell University)|Feb 17, 2022

Model Reduction and Neural Networks被引用 8

一句话总结

本文引入了合并阶梯（merged-staircase）性质，作为在平均场范围内，SGD 在两层 ReLU 神经网络上高效学习稀疏函数的必要且近乎充分的条件。通过无维度动力学、多项式恒等式检验和反浓度界限，证明了非线性训练是必不可少的——线性方法（如 NTK）会失败。

ABSTRACT

It is currently known how to characterize functions that neural networks can learn with SGD for two extremal parameterizations: neural networks in the linear regime, and neural networks with no structural constraints. However, for the main parametrization of interest (non-linear but regular networks) no tight characterization has yet been achieved, despite significant developments. We take a step in this direction by considering depth-2 neural networks trained by SGD in the mean-field regime. We consider functions on binary inputs that depend on a latent low-dimensional subspace (i.e., small number of coordinates). This regime is of interest since it is poorly understood how neural networks routinely tackle high-dimensional datasets and adapt to latent low-dimensional structure without suffering from the curse of dimensionality. Accordingly, we study SGD-learnability with $O(d)$ sample complexity in a large ambient dimension $d$. Our main results characterize a hierarchical property, the "merged-staircase property", that is both necessary and nearly sufficient for learning in this setting. We further show that non-linear training is necessary: for this class of functions, linear methods on any feature map (e.g., the NTK) are not capable of learning efficiently. The key tools are a new "dimension-free" dynamics approximation result that applies to functions defined on a latent space of low-dimension, a proof of global convergence based on polynomial identity testing, and an improvement of lower bounds against linear methods for non-almost orthogonal functions.

研究动机与目标

• 刻画在非线性、规则的两层神经网络中，哪些稀疏函数可被 SGD 高效学习。
• 通过分析平均场范围，弥合已知线性范围（如 NTK）与无约束网络之间的差距。
• 证明线性方法（包括 NTK）即使在最优特征映射下，也无法高效学习某些稀疏函数。
• 提出一种新的理论框架，利用无维度动力学和多项式逼近来分析 SGD 的收敛性。

提出的方法

• 提出一种新颖的“合并阶梯性质”——即在低维潜在子空间上，函数傅里叶系数的分层结构——作为可学习性的关键条件。
• 引入一种“无维度”动力学近似，通过聚焦于潜在的低维结构，简化高维设置下 SGD 的分析。
• 利用多项式恒等式检验，在合并阶梯条件下证明 SGD 的全局收敛性。
• 利用多项式反浓度界限，建立对线性方法的下界，尤其针对非几乎正交函数。
• 通过平均场 PDE 近似分析离散时间 SGD，并在带激活扰动的连续时间动力学下证明收敛性。
• 将学习问题简化为分析无交互项的简化动力学，从而获得可处理的系数递推关系。

实验结果

研究问题

• RQ1 在平均场范围内，何种函数结构可确保 SGD 在两层 ReLU 网络中高效学习该函数？
• RQ2 非线性训练在学习稀疏函数时是否本质上是必要的？线性方法（如 NTK）能否实现相同的样本复杂度？
• RQ3 在非线性、规则网络范围内，能否对 SGD 可学习性实现紧致刻画，超越线性与无约束的极端情况？
• RQ4 输入函数的潜在低维结构如何影响高维设置下 SGD 的动力学与收敛性？
• RQ5 多项式逼近和正交基（如勒让德多项式）在证明可学习性与下界中起到何种作用？

主要发现

• 合并阶梯性质是两层 ReLU 网络上稀疏函数实现强 $O(d)$-SGD-可学习性的必要且近乎充分条件。
• 非线性训练被严格证明为必要：任何特征映射（包括 NTK）上的线性方法都无法高效学习满足合并阶梯性质的函数类。
• 建立了无维度动力学近似，使分析独立于环境维度 $d$，且适用于具有低维潜在结构的函数。
• 通过多项式恒等式检验证明了 SGD 的全局收敛性，表明在合并阶梯条件下，网络可在多项式时间内学习目标函数。
• 改进了多项式反浓度界限，并用于证明线性方法在稀疏范围内无法学习典型的非几乎正交函数。
• 本文证明了原始阶梯函数和一般合并阶梯函数在离散与连续时间范围内均为强 $O(d)$-SGD-可学习的。