[论文解读] On the Activation Function Dependence of the Spectral Bias of Neural Networks

Qingguo Hong, Jonathan W. Siegel+2 more|arXiv (Cornell University)|Aug 9, 2022

Neural Networks and Applications被引用 9

一句话总结

本文通过将ReLU神经网络与有限元方法联系起来，从理论上解释了其谱偏差现象，预测将ReLU替换为分段线性B样条的Hat激活函数可消除这种偏差。实证结果表明，采用Hat激活函数的网络训练速度显著提升，泛化性能更优，证明谱偏差依赖于激活函数，并非普遍现象。

ABSTRACT

Neural networks are universal function approximators which are known to generalize well despite being dramatically overparameterized. We study this phenomenon from the point of view of the spectral bias of neural networks. Our contributions are two-fold. First, we provide a theoretical explanation for the spectral bias of ReLU neural networks by leveraging connections with the theory of finite element methods. Second, based upon this theory we predict that switching the activation function to a piecewise linear B-spline, namely the Hat function, will remove this spectral bias, which we verify empirically in a variety of settings. Our empirical studies also show that neural networks with the Hat activation function are trained significantly faster using stochastic gradient descent and ADAM. Combined with previous work showing that the Hat activation function also improves generalization accuracy on image classification tasks, this indicates that using the Hat activation provides significant advantages over the ReLU on certain problems.

研究动机与目标

• 理解为何ReLU神经网络在训练过程中表现出谱偏差，倾向于学习低频函数分量。
• 建立理论框架，将ReLU网络与有限元方法联系起来，以解释该偏差现象。
• 预测将ReLU激活函数修改为Hat函数（分段线性B样条）可消除谱偏差。
• 通过实证方法验证使用Hat激活函数的网络中谱偏差的缺失。
• 证明Hat激活网络的训练速度优于ReLU网络，且泛化性能更优。

提出的方法

• 理论分析将ReLU网络与有限元方法关联，将其建模为在网格上的分段线性逼近。
• 对与网络特征图相关的核矩阵进行特征值分析，揭示低频模式被更快学习。
• Hat激活函数被定义为分段线性B样条基函数，其与ReLU在平滑性和紧支集方面存在差异。
• 推导出网络Hessian矩阵或核矩阵特征值的理论界，表明使用Hat激活函数时谱偏差减弱。
• 通过在浅层与深层网络上使用合成数据与真实数据进行实证验证，测量收敛速度与频率学习动态。
• 采用随机梯度下降与ADAM优化算法评估训练效率，比较损失收敛性与泛化性能。

实验结果

研究问题

• RQ1 ReLU网络中的谱偏差源于其激活函数，还是过参数化模型的普遍性质？
• RQ2 能否通过与有限元方法的联系，从理论上解释谱偏差？
• RQ3 用Hat激活函数替换ReLU是否能消除神经网络训练中的谱偏差？
• RQ4 与ReLU网络相比，Hat激活网络是否训练更快且泛化性能更优？
• RQ5 谱偏差在不同优化算法与网络架构下是否具有鲁棒性？

主要发现

• 理论分析证实，ReLU网络因分段线性结构而表现出谱偏差，该结构与有限元逼近一致。
• Hat激活函数（分段线性B样条）通过实现频谱范围内更均匀的频率学习，消除了谱偏差。
• 实证结果表明，无论采用SGD还是ADAM优化，使用Hat激活的网络训练速度显著快于ReLU网络。
• Hat激活网络在图像分类任务中展现出更优的泛化性能，与先前研究结果一致。
• 谱偏差并非普遍现象；其存在与否关键取决于激活函数的选择，如Hat激活网络中未观察到该偏差。
• 核矩阵特征值的理论界确认，使用Hat激活函数时，高频分量的学习率提高。