[论文解读] On the asymptotics of wide networks with polynomial activations

Kyle Aitken, Guy Gur-Ari|arXiv (Cornell University)|Jun 11, 2020

Stochastic Gradient Optimization Techniques参考文献 10被引用 8

一句话总结

该论文证明了 Dyer 和 Gur-Ari（2019）关于宽深度神经网络中相关函数渐近缩放的猜想，适用于具有多项式激活函数的深层网络。通过基于张量的分析方法与 Isserlis 定理计算参数导数的矩，作者建立相关函数缩放为 $\mathcal{O}(n^{n_e + (n_o - m)/2})$，其中 $n$ 为宽度，$n_e$ 为簇图中偶数大小分量的数量，$n_o$ 为奇数大小分量的数量。该结果将有限宽度动力学与 NTK 理论的有效性扩展至多项式激活网络。

ABSTRACT

We consider an existing conjecture addressing the asymptotic behavior of neural networks in the large width limit. The results that follow from this conjecture include tight bounds on the behavior of wide networks during stochastic gradient descent, and a derivation of their finite-width dynamics. We prove the conjecture for deep networks with polynomial activation functions, greatly extending the validity of these results. Finally, we point out a difference in the asymptotic behavior of networks with analytic (and non-linear) activation functions and those with piecewise-linear activations such as ReLU.

研究动机与目标

• 严格证明关于多项式激活函数下宽神经网络中相关函数缩放的猜想。
• 将有限宽度神经网络动力学的理论框架扩展至线性与 ReLU 网络之外。
• 为训练过程中（特别是随机梯度下降下）宽网络的行为提供解析控制。
• 阐明解析激活函数（如多项式）与分段线性激活函数（如 ReLU）在渐近行为上的本质差异。

提出的方法

• 使用张量网络形式化方法追踪网络各层间导数收缩，推导相关函数的渐近缩放行为。
• 应用 Isserlis 定理，在 i.i.d. 高斯初始化下计算参数导数的高阶矩。
• 分析相关函数的簇图结构，其中顶点代表输入，边代表导数收缩。
• 在具有 $\phi(x) = x^2$ 激活函数的两隐藏层网络中，显式计算特定相关函数（如 $C_{4,3}$）的缩放行为。
• 采用图解与组合技术，统计并评估矩展开中贡献项的数量与值。
• 证明缩放指数 $n_e + (n_o - m)/2$ 能够准确预测宽度依赖关系，即使在非线性情形下亦成立。

实验结果

研究问题

• RQ1 对于具有多项式激活函数的深层网络，猜想的渐近缩放 $\mathcal{O}(n^{n_e + (n_o - m)/2})$ 是否成立？
• RQ2 在具有非线性多项式激活函数的宽网络中，高阶参数导数的行为与线性或 ReLU 网络相比有何不同？
• RQ3 簇图结构是否能完全预测非线性设置下相关函数的宽度缩放行为？
• RQ4 与线性网络相比，重复导数在改变缩放行为方面起到何种作用？
• RQ5 为何该猜想在某些情况下（如 ReLU 的 $C_{4,3}$）不够紧致，而多项式网络中则表现不同？

主要发现

• 已证明关于多项式激活函数下深层网络中相关函数缩放的猜想，确认其行为符合 $\mathcal{O}(n^{n_e + (n_o - m)/2})$。
• 对于具有 $\phi(x) = x^2$ 激活函数的两层网络，相关函数 $C_{4,3}$ 缩放为 $\mathcal{O}(n^{-1})$，与预测指数一致。
• 解析激活函数（如多项式）与分段线性激活函数（如 ReLU）在渐近行为上存在根本性差异，ReLU 网络表现出非紧致界。
• 推导表明，多项式网络中的重复导数导致贡献项结构更丰富，但整体缩放仍由簇图结构主导。
• 该方法成功显式计算出 $C_{4,3}$ 的 $\mathcal{O}(n^{-1})$ 缩放，验证了在非平凡非线性情形下猜想的正确性。
• 该结果为宽多项式激活网络中有限宽度动力学与优化轨迹分析奠定了严格理论基础。