[论文解读] Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Renormalization Group.

Qianyi Li, Haim Sompolinsky|arXiv (Cornell University)|Dec 7, 2020

Neural Networks and Applications被引用 4

一句话总结

本文提出了反向传播重正化群（BPRG），这是一种精确的统计力学框架，通过从输出层到输入层逐层整合权重空间，用于分析深度线性神经网络（DLNNs）中的学习过程。研究发现，尽管网络具有线性特性，DLNNs 仍表现出非线性学习动力学，且令人惊讶的是，该理论的预测在浅层 ReLU 网络中也表现良好，这是首次基于重正化群方法对深度学习权重空间进行的精确分析。

ABSTRACT

The success of deep learning in many real-world tasks has triggered an effort to theoretically understand the power and limitations of deep learning in training and generalization of complex tasks, so far with limited progress. In this work, we study the statistical mechanics of learning in Deep Linear Neural Networks (DLNNs) in which the input-output function of an individual unit is linear. Despite the linearity of the units, learning in DLNNs is highly nonlinear, hence studying its properties reveals some of the essential features of nonlinear Deep Neural Networks (DNNs). We solve exactly the network properties following supervised learning using an equilibrium Gibbs distribution in the weight space. To do this, we introduce the Back-Propagating Renormalization Group (BPRG) which allows for the incremental integration of the network weights layer by layer from the network output layer and progressing backward. This procedure allows us to evaluate important network properties such as its generalization error, the role of network width and depth, the impact of the size of the training set, and the effects of weight regularization and learning stochasticity. Furthermore, by performing partial integration of layers, BPRG allows us to compute the emergent properties of the neural representations across the different hidden layers. We have proposed a heuristic extension of the BPRG to nonlinear DNNs with rectified linear units (ReLU). Surprisingly, our numerical simulations reveal that despite the nonlinearity, the predictions of our theory are largely shared by ReLU networks with modest depth, in a wide regime of parameters. Our work is the first exact statistical mechanical study of learning in a family of Deep Neural Networks, and the first development of the Renormalization Group approach to the weight space of these systems.

研究动机与目标

• 开发一种精确的统计力学框架，以理解深度神经网络中的学习机制。
• 分析深度、宽度、训练集大小和正则化在泛化误差中的作用。
• 通过逐层整合权重，探索隐藏层中涌现表征的演化。
• 通过启发式 BPRG 方法，将线性网络的洞见扩展至非线性 ReLU 网络。
• 确立重正化群作为分析深度学习系统权重空间的工具。

提出的方法

• 提出反向传播重正化群（BPRG），从输出层开始逐层整合权重空间。
• 使用权重空间上的平衡吉布斯分布来建模 DLNNs 中的监督学习。
• 通过逐层部分积分，计算隐藏层中涌现表征的演化。
• 推导出泛化误差、权重分布和网络容量的精确表达式。
• 通过将线性框架适配至非线性激活效应，启发式地将 BPRG 扩展至 ReLU 网络。
• 采用数值模拟验证 BPRG 在多种超参数设置下对 ReLU 网络的预测。

实验结果

研究问题

• RQ1 网络深度和宽度如何影响深度线性网络中的泛化误差？
• RQ2 训练集大小和权重正则化在学习动力学中起到何种作用？
• RQ3 在深度线性网络中，隐藏层中涌现表征如何随层深演化？
• RQ4 线性 BPRG 框架的预测在多大程度上可推广至非线性 ReLU 网络？
• RQ5 重正化群能否系统性地应用于深度神经网络的权重空间？

主要发现

• BPRG 框架可精确计算深度线性网络中的泛化误差和权重分布。
• 网络宽度和深度显著影响有效容量和泛化性能，最优缩放关系由 RG 流导出。
• 训练集大小调节吉布斯分布中的有效温度，从而影响学习稳定性。
• 权重正则化抑制高频权重模式，以受控方式提升泛化性能。
• 尽管存在非线性，BPRG 对 ReLU 网络的预测在广泛参数范围内仍保持准确，尤其在浅层架构中表现更优。
• 本研究首次基于重正化群方法，实现了对深度神经网络学习过程的精确统计力学分析。