[论文解读] Towards Understanding Hierarchical Learning: Benefits of Neural Representations

Minshuo Chen, Yu Bai+5 more|arXiv (Cornell University)|Jun 24, 2020

Neural Networks and Applications参考文献 53被引用 9

一句话总结

本文表明，深度网络中的中间神经表征可显著提升学习高阶多项式函数的样本效率，对于 $p$ 次多项式，样本复杂度达到 $\widetilde{O}(d^{\lceil p/2\rceil})$，而使用原始输入时则为 $\widetilde{O}(d^{p-1})$。这种优势源于采用宽两层网络的二次泰勒模型，而在基于 NTK 的模型中则不存在此类优势。

ABSTRACT

Deep neural networks can empirically perform efficient hierarchical learning, in which the layers learn useful representations of the data. However, how they make use of the intermediate representations are not explained by recent theories that relate them to "shallow learners" such as kernels. In this work, we demonstrate that intermediate neural representations add more flexibility to neural networks and can be advantageous over raw inputs. We consider a fixed, randomly initialized neural network as a representation function fed into another trainable network. When the trainable network is the quadratic Taylor model of a wide two-layer network, we show that neural representation can achieve improved sample complexities compared with the raw input: For learning a low-rank degree-$p$ polynomial ($p \geq 4$) in $d$ dimension, neural representation requires only $ ilde{O}(d^{\lceil p/2 ceil})$ samples, while the best-known sample complexity upper bound for the raw input is $ ilde{O}(d^{p-1})$. We contrast our result with a lower bound showing that neural representations do not improve over the raw input (in the infinite width limit), when the trainable network is instead a neural tangent kernel. Our results characterize when neural representations are beneficial, and may provide a new perspective on why depth is important in deep learning.

研究动机与目标

• 理解深度网络中的层次化学习在何种情况下以及为何优于浅层模型。
• 研究中间神经表征在提升学习复杂函数样本效率方面的作用。
• 对比不同优化范式下（特别是二次泰勒模型与神经正切核 NTK）神经表征的优势。
• 对深度与表征学习在何种条件下带来泛化性能提升提供理论刻画。

提出的方法

• 该研究构建了一个三层网络模型，其中固定且随机初始化的神经网络充当表征函数 $\mathbf{h}(\mathbf{x})$，仅训练顶层权重。
• 通过宽两层网络的二次泰勒近似分析样本复杂度，以建模初始化附近的训练动态。
• 对比使用原始输入 ($\mathbf{h}(\mathbf{x}) = \mathbf{x}$) 与神经表征 ($\mathbf{h}(\mathbf{x}) = \sigma(\mathbf{V}\mathbf{x} + \mathbf{b})$) 的学习性能。
• 在二次泰勒模型与 NTK 范式下，推导出在 $d$ 维空间中学习低秩 $p$ 次多项式函数的样本复杂度边界。
• 利用集中不等式以及算子范数与权重向量范数的界，建立理论保证。
• 分析包含一个下界，表明在无限宽度 NTK 极限下，表征无法带来任何优势，凸显了不同优化范式之间的关键差异。

实验结果

研究问题

• RQ1 与直接从原始输入学习相比，使用中间神经表征是否能降低样本复杂度？
• RQ2 在何种优化范式下（例如二次泰勒模型 vs. NTK）神经表征能带来优势？
• RQ3 为何深度能提升学习效率？中间表征在其中起到何种作用？
• RQ4 我们能否理论上刻画出层次化表征带来泛化性能提升的条件？

主要发现

• 对于在 $d$ 维空间中学习低秩 $p$ 次多项式（$p \geq 4$）的情形，神经表征可将样本复杂度降低至 $\widetilde{O}(d^{\lceil p/2\rceil})$。
• 相比之下，从原始输入学习的最佳已知样本复杂度为 $\widetilde{O}(d^{p-1})$，表明表征带来了显著改进。
• 在 NTK 范式下，该优势消失，因为在无限宽度极限下无法获得任何改进，表明该优势仅存在于非 NTK 的优化动态中。
• 二次泰勒模型能实现更高的样本效率，因为它通过表征函数捕捉了数据中的高阶交互作用。
• 理论边界表明，可通过选择合适的表征维度 $D$ 和网络宽度 $m$，以高概率实现 $\epsilon$-准确的泛化。
• 分析表明，表征的优势并非源于近似能力，而是源于优化路径的结构与泛化误差的特性。