[论文解读] The staircase property: How hierarchical structure can guide deep learning

Emmanuel Abbé, Enric Boix-Adserà+3 more|arXiv (Cornell University)|Aug 24, 2021

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

本文引入了“阶梯性质”——一种定义在布尔超立方体上函数的结构性条件，使深层神经网络能够高效学习。论文证明，通过逐层随机坐标下降法，具有规则结构和同质初始化的神经网络可以学习此类函数，其梯度贪婪地组合低层特征以构建高层表征，从而实现对原本对标准梯度方法不可行的分层函数的多项式时间收敛。

ABSTRACT

This paper identifies a structural property of data distributions that enables deep neural networks to learn hierarchically. We define the "staircase" property for functions over the Boolean hypercube, which posits that high-order Fourier coefficients are reachable from lower-order Fourier coefficients along increasing chains. We prove that functions satisfying this property can be learned in polynomial time using layerwise stochastic coordinate descent on regular neural networks -- a class of network architectures and initializations that have homogeneity properties. Our analysis shows that for such staircase functions and neural networks, the gradient-based algorithm learns high-level features by greedily combining lower-level features along the depth of the network. We further back our theoretical results with experiments showing that staircase functions are also learnable by more standard ResNet architectures with stochastic gradient descent. Both the theoretical and experimental results support the fact that staircase properties have a role to play in understanding the capabilities of gradient-based learning on regular networks, in contrast to general polynomial-size networks that can emulate any SQ or PAC algorithms as recently shown.

研究动机与目标

• 识别数据分布中一种自然且可解释的结构性特征，以支持深层神经网络中的分层学习。
• 证明具有同质初始化的规则神经网络架构能够高效学习满足阶梯性质的函数。
• 解释为何某些高次单项式难以学习，而结构化的和（阶梯函数）在基于梯度的优化下却具有可处理性。
• 为在规则网络上使用逐层随机坐标下降实现多项式时间学习提供理论保证。
• 与能够模拟任意统计查询或PAC算法的一般多项式大小网络进行对比，凸显架构规则性的作用。

提出的方法

• 将‘阶梯性质’定义为：在超立方体中，高阶傅里叶系数可通过递增链从低阶系数可达。
• 使用傅里叶-沃尔什分解将函数表示为加权单项式之和，权重为傅里叶系数。
• 分析具有对称性和同质性的规则、同质神经网络中的梯度流。
• 在网络深度上应用逐层随机坐标下降，结合贪婪的分层特征组合机制。
• 通过在逐层训练上使用归纳论证，结合神经元连接性和激活模式的集中不等式与联合界，证明高概率收敛。
• 通过分析迭代次数和每轮复杂度，建立运行时间上界，表明可实现多项式时间学习。

实验结果

研究问题

• RQ1 我们能否在数据中识别出一种自然且可解释的结构性特征，以支持深层网络中的分层学习？
• RQ2 为何阶梯函数——即按阶数递增的单项式之和——能被基于梯度的方法学习，而单个高次单项式却不能？
• RQ3 阶梯性质的分层结构如何与规则、同质神经网络中的权重动态相互作用？
• RQ4 我们能否证明具有对称初始化的规则网络架构可以在多项式时间内学习分层函数？
• RQ5 架构规则性在实现高效基于梯度的学习中起到什么作用，相较于能够模拟任意学习算法的一般网络而言？

主要发现

• 满足阶梯性质的函数可通过在具有同质初始化的规则神经网络上使用逐层随机坐标下降，在多项式时间内被学习。
• 基于梯度的学习过程贪婪地将低层特征组合为高层表征，有效‘攀登阶梯’穿越网络深度。
• 实验表明，使用SGD的ResNet架构即使在高阶（例如，k=10，n=30）也能成功学习阶梯函数，而对单个高次单项式则失败。
• 理论分析证明，以高概率（1−δ），训练误差可在O(κ)轮迭代内降至ε以下，其中κ是与函数和网络规模相关的复杂度参数。
• 该方法不依赖特殊架构或初始化，表明规则性和对称性在阶梯条件下已足够实现分层学习。
• 结果与先前工作形成对比：一般多项式大小网络可模拟任意统计查询或PAC算法，凸显架构规则性在实现结构化、分层学习中的关键作用。