[论文解读] On the Spectral Bias of Convolutional Neural Tangent and Gaussian Process Kernels

Amnon Geifman, Meirav Galun+2 more|arXiv (Cornell University)|Mar 17, 2022

Neural Networks and Applications被引用 5

一句话总结

本文通过高斯过程和神经正切核（GPK 和 NTK）对过参数化的卷积神经网络进行了严格的谱分析。证明了特征函数为像素通道上球谐函数的乘积，特征值按频率呈多项式衰减，并受分层特征结构调制——揭示了卷积神经网络比全连接网络更快地学习局部化、高频函数。

ABSTRACT

We study the properties of various over-parametrized convolutional neural architectures through their respective Gaussian process and neural tangent kernels. We prove that, with normalized multi-channel input and ReLU activation, the eigenfunctions of these kernels with the uniform measure are formed by products of spherical harmonics, defined over the channels of the different pixels. We next use hierarchical factorizable kernels to bound their respective eigenvalues. We show that the eigenvalues decay polynomially, quantify the rate of decay, and derive measures that reflect the composition of hierarchical features in these networks. Our results provide concrete quantitative characterization of over-parameterized convolutional network architectures.

研究动机与目标

• 通过其高斯过程和神经正切核，表征过参数化卷积神经网络的谱偏差。
• 在 ReLU 激活和归一化多通道输入下，识别 CGPK 和 CNTK 的特征函数及其特征值衰减速率。
• 量化网络中分层特征构成如何通过特征值中的乘法因子影响学习速度。
• 比较平移等变、全连接和全局平均池化架构之间的谱归纳偏差。

提出的方法

• 推导了三种架构的核结构：平移等变、全连接最后层和全局平均池化（GAP）层。
• 在多球面输入空间（每个像素对应一个单位球面）上，使用球谐函数（SHs）作为特征函数。
• 利用循环平移不变性和平均化方法推导迹核和 GAP 核，保持特征函数结构不变。
• 采用 Mercer 分解，将核表示为正交特征函数及其对应特征值的和。
• 引入基于频率的特征值衰减分析，表明多项式衰减速率取决于输入通道数量。
• 推导了反映空间局部性的特征值乘法因子：在中心/感受野像素处较大（等变），在邻近像素处较大（全连接/GAP）

实验结果

研究问题

• RQ1 过参数化卷积网络的高斯过程和神经正切核的特征函数是什么？
• RQ2 这些核的特征值如何随特征函数的频率而衰减？
• RQ3 网络中特征的分层结构如何影响特征值和学习偏差？
• RQ4 平移等变、全连接和全局平均池化架构之间的谱偏差有何不同？
• RQ5 卷积神经网络在何种条件下比全连接网络更快地学习高频函数，程度如何？

主要发现

• CGPK 和 CNTK 核的特征函数是每个像素通道上定义的球谐函数的乘积，在多球面输入空间上构成一组正交基。
• 特征值随特征函数的频率呈多项式衰减，衰减速率取决于输入通道数量。
• 对于平移等变网络，特征值乘法因子在感受野中心像素处最大，并向边缘递减。
• 对于全连接和 GAP 架构，当像素在空间上接近时乘法因子较大，且随距离增加迅速衰减。
• 由于特征值调制中的空间结构，卷积神经网络对学习空间局部化、高频函数表现出更强的偏差，优于全连接网络。
• 特征值衰减速率不依赖于图像尺寸或滤波器尺寸，仅取决于输入通道数量和特征函数的频率。