[论文解读] Theory of the Frequency Principle for General Deep Neural Networks

Tao Luo, Zheng Ma+2 more|arXiv (Cornell University)|Jun 21, 2019

Neural Networks and Applications参考文献 25被引用 27

一句话总结

本文为一般深度神经网络中的频率原理（F-Principle）建立了严格的理论基础，证明在训练的初始、中间和最终阶段，损失减少和输出变化均系统性地由低频分量主导。该分析适用于具有任意激活函数、一般数据分布以及广泛损失函数类别的多层网络，证明了损失在频域中的衰减速率反映了网络的正则性。

ABSTRACT

Along with fruitful applications of Deep Neural Networks (DNNs) to realistic problems, recently, some empirical studies of DNNs reported a universal phenomenon of Frequency Principle (F-Principle): a DNN tends to learn a target function from low to high frequencies during the training. The F-Principle has been very useful in providing both qualitative and quantitative understandings of DNNs. In this paper, we rigorously investigate the F-Principle for the training dynamics of a general DNN at three stages: initial stage, intermediate stage, and final stage. For each stage, a theorem is provided in terms of proper quantities characterizing the F-Principle. Our results are general in the sense that they work for multilayer networks with general activation functions, population densities of data, and a large class of loss functions. Our work lays a theoretical foundation of the F-Principle for a better understanding of the training process of DNNs.

研究动机与目标

• 建立超越狭窄情况的深度神经网络中频率原理（F-Principle）的一般理论框架。
• 严格刻画深度神经网络（DNN）在训练过程中从低频到高频学习目标函数的机制。
• 将以往关于F-Principle的实证研究和有限理论成果扩展至具有任意激活函数和数据分布的一般多层网络。
• 利用傅里叶分析，在初始、中间和最终三个训练阶段统一分析F-Principle。
• 在包括 $L^p$ 损失（$p \geq 2$）在内的广义损失函数下，统一理解F-Principle。

提出的方法

• 使用傅里叶分析将网络输出和损失函数分解为频率分量。
• 通过高频频谱模式与低频频谱模式的 $L^2$-范数比定义频率主导性。
• 应用均场和基于PDE的近似方法，建模频域中的梯度流动力学。
• 利用频率带上的 $L^2$-范数，推导损失和网络输出变化速率的边界。
• 对激活函数和参数动态施加正则性假设，以控制高频分量的衰减。
• 利用最小值点处Hessian矩阵的非退化性，确保频域中梯度与损失比值的有界性。

实验结果

研究问题

• RQ1 F-Principle 是否在一般深度神经网络的所有训练阶段均普遍成立？
• RQ2 对于一般激活函数和数据分布，损失和输出的频率成分在训练过程中如何变化？
• RQ3 F-Principle 能否在 $L^p$ 损失函数（$p \geq 2$）下严格证明，而不仅限于 $L^2$ 损失？
• RQ4 网络正则性在决定损失函数中高频分量衰减速率方面起什么作用？
• RQ5 频域中梯度流的动力学如何与损失景观的结构相关联？

主要发现

• 在训练的初始和最终阶段，均方误差（MSE）的变化主要由低频分量主导。
• 对于一般 $L^p$ 损失（$p \geq 2$），DNN 输出的变化在初始和最终阶段也主要由低频分量主导。
• 在中间阶段，MSE 减少一半的过程同样由低频分量主导，证实了F-Principle在所有训练阶段的普适性。
• 损失在频域中的衰减速率与神经网络参数和激活函数的正则性直接相关。
• 该理论框架适用于具有标准激活函数（ReLU、Sigmoid、tanh）的任意多层网络、一般数据分布密度以及广泛损失函数类。
• 分析证明，高频分量与总梯度幅值的比值随时间均匀衰减，确保了从低频到高频的系统性学习过程。