[论文解读] What Can Be Learnt With Wide Convolutional Neural Networks?

Francesco Cagnetta, Alessandro Favero+1 more|arXiv (Cornell University)|Aug 1, 2022

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文通过神经正切核（NTK）框架研究了无限宽深度卷积神经网络（CNNs）的泛化性能。结果表明，NTK的谱结构继承了层次化特性，使CNN能够适应目标函数的有效维度：当函数依赖于局部输入子集时，泛化误差的衰减速率由感受野的大小决定；而当全局依赖占主导时，则由完整输入维度决定。

ABSTRACT

Understanding how convolutional neural networks (CNNs) can efficiently learn high-dimensional functions remains a fundamental challenge. A popular belief is that these models harness the local and hierarchical structure of natural data such as images. Yet, we lack a quantitative understanding of how such structure affects performance, e.g., the rate of decay of the generalisation error with the number of training samples. In this paper, we study infinitely-wide deep CNNs in the kernel regime. First, we show that the spectrum of the corresponding kernel inherits the hierarchical structure of the network, and we characterise its asymptotics. Then, we use this result together with generalisation bounds to prove that deep CNNs adapt to the spatial scale of the target function. In particular, we find that if the target function depends on low-dimensional subsets of adjacent input variables, then the decay of the error is controlled by the effective dimensionality of these subsets. Conversely, if the target function depends on the full set of input variables, then the error decay is controlled by the input dimension. We conclude by computing the generalisation error of a deep CNN trained on the output of another deep CNN with randomly-initialised parameters. Interestingly, we find that, despite their hierarchical structure, the functions generated by infinitely-wide deep CNNs are too rich to be efficiently learnable in high dimension.

研究动机与目标

• 理解CNN的层次化与局部结构如何影响高维函数逼近中的泛化性能。
• 解决当前对数据结构如何影响深度CNN泛化误差衰减速率缺乏定量理解的问题。
• 刻画无限宽深度CNN中NTK的谱结构，以推导泛化界。
• 探究层次化CNN是否能高效学习具有不同程度局部性或全局依赖性的函数。
• 确定CNN的归纳偏置是否能在高维设置下缓解维度灾难。

提出的方法

• 分析无重叠感受野且无池化的深度CNN在无限宽度极限下的神经正切核（NTK）。
• 通过将特征函数分解为对应各隐藏层感受野的扇区，刻画NTK的谱结构。
• 基于第 $ l $ 层感受野的有效维度 $ d_{\text{eff}}(l) $，推导NTK特征值的渐近行为。
• 应用核岭回归的泛化界（Caponnetto & De Vito, 2007），将误差衰减与目标函数的有效维度关联。
• 结合理论分析与合成数据及真实数据集（如CIFAR-10）的实证验证，检验理论预测。
• 比较不同输入分布（多球面、超立方体、高斯分布）与不同感受野类型（重叠与非重叠）下的学习曲线。

实验结果

研究问题

• RQ1 深度CNN的层次化结构在无限宽极限下如何影响其NTK的谱结构？
• RQ2 深度CNN在多大程度上能根据目标函数的空间尺度调整其泛化性能？
• RQ3 各层感受野的有效维度是否决定了泛化误差衰减速率？
• RQ4 无限宽CNN能否高效学习仅依赖于低维局部输入子集的高维函数？
• RQ5 在高维、结构化函数逼近任务中，层次化CNN的性能与全连接网络相比如何？

主要发现

• 深度CNN中NTK的谱结构由各扇区的特征函数组织，每个特征函数仅依赖于特定层的感受野。
• 特征值的渐近衰减行为取决于多项式阶次与第 $ l $ 层感受野的有效维度 $ d_{\text{eff}}(l) $，且 $ d_{\text{eff}}(l) $ 越小，对应特征值越大。
• 当目标函数依赖于局部输入子集时，泛化误差衰减为 $ \epsilon(n) \sim n^{-\beta} $，其中 $ \beta \propto 1/d_{\text{eff}} $。
• 当目标函数依赖于完整输入维度时，误差衰减由输入维度 $ d $ 决定，表明存在维度灾难。
• 尽管具有层次化结构，无限宽深度CNN生成的函数在高维输入空间中仍过于丰富，难以被高效学习。
• 在CIFAR-10与合成数据上的实证学习曲线验证了理论预测，且深度层次化CNN即使在重叠感受野下也优于全连接架构。