[论文解读] Neural networks: from the perceptron to deep nets

Marylou Gabrié, Surya Ganguli+2 more|arXiv (Cornell University)|Apr 13, 2023

Neural Networks and Applications被引用 4

一句话总结

本文综述了统计力学（特别是副本方法和动力系统理论）在理解从感知机到深度网络的神经网络泛化能力和训练动力学中的应用。它强调了副本对称性破缺、信号传播和动力等距性等概念如何解释过参数化模型中的泛化现象，并实现对极深网络的训练，同时还将非平衡扩散过程与现代生成式AI模型联系起来。

ABSTRACT

Artificial networks have been studied through the prism of statistical mechanics as disordered systems since the 80s, starting from the simple models of Hopfield's associative memory and the single-neuron perceptron classifier. Assuming data is generated by a teacher model, asymptotic generalisation predictions were originally derived using the replica method and the online learning dynamics has been described in the large system limit. In this chapter, we review the key original ideas of this literature along with their heritage in the ongoing quest to understand the efficiency of modern deep learning algorithms. One goal of current and future research is to characterize the bias of the learning algorithms toward well-generalising minima in a complex overparametrized loss landscapes with many solutions perfectly interpolating the training data. Works on perceptrons, two-layer committee machines and kernel-like learning machines shed light on these benefits of overparametrization. Another goal is to understand the advantage of depth while models now commonly feature tens or hundreds of layers. If replica computations apparently fall short in describing general deep neural networks learning, studies of simplified linear or untrained models, as well as the derivation of scaling laws provide the first elements of answers.

研究动机与目标

• 追溯统计力学方法在理解神经网络泛化能力方面的演变，从早期的感知机和霍普菲尔德网络到现代深度学习。
• 解释副本对称性破缺和动力平均场理论如何阐明损失景观的几何结构以及优化过程向泛化解的偏置。
• 研究信号传播和初始化技术（例如动力等距性）如何实现对极深网络（包括10,000层模型）的训练。
• 将非平衡统计力学与现代基于扩散的生成模型联系起来，例如用于文本到图像合成的模型。
• 分析神经缩放定律的理论基础，并探讨是否可通过智能数据剪枝使缩放行为超越标准幂律。

提出的方法

• 应用副本方法在高维极限下计算感知机和委员会机器的渐近泛化误差。
• 使用动力平均场理论分析非凸、高维损失景观中在线和随机梯度下降的动力学。
• 运用自由概率论计算深度随机权矩阵的奇异值谱，从而推导出动态等距初始化。
• 分析高维空间中的非平衡扩散过程，以建模基于得分的扩散模型的生成建模。
• 对非高斯、剪枝后的数据分布应用副本计算，研究超越幂律的测试误差缩放行为。
• 利用统计力学学习模型推导模型和数据规模的缩放定律，包括作为系统参数函数的泛化误差。

实验结果

研究问题

• RQ1 副本对称性破缺如何解释过参数化设置下非凸分类器的泛化能力？
• RQ2 动力等距性在实现极深神经网络训练中起到什么作用？
• RQ3 如何利用非平衡统计力学原理设计高效的图像合成生成模型？
• RQ4 在数据、模型规模和计算量方面，观察到的神经缩放定律的理论根源是什么？
• RQ5 通过智能数据剪枝是否可实现超越标准幂律缩放的测试误差行为？

主要发现

• 副本方法预测，单层感知机在存储约0.14N个随机模式后，泛化误差会急剧上升。
• 副本对称性破缺揭示，非凸分类器的损失景观包含对应于良好泛化解的亚稳态。
• 通过正交权重和特定非线性激活函数实现的动态等距初始化，可在无需归一化层的情况下训练10,000层深度网络。
• 基于扩散的生成模型建立在非平衡统计力学基础上，其中神经网络学习逆转一个加噪过程以生成逼真的图像。
• 副本计算表明，若采用优良的数据剪枝度量，测试误差可呈指数级而非幂律缩放，从而超越标准缩放定律。
• 神经缩放定律表现出测试误差随数据规模、模型规模或计算量呈幂律衰减，但可通过结构化数据选择加以改进。