[论文解读] Noether: The More Things Change, the More Stay the Same

Grzegorz Głuch, Rüdiger Urbanke|arXiv (Cornell University)|Apr 12, 2021

Stochastic Gradient Optimization Techniques参考文献 34被引用 5

一句话总结

本文提出了一套系统性框架，通过诺特定理将神经网络中的对称性与守恒量联系起来，表明激活函数、数据增强和时间不变性等对称性会约束梯度下降轨迹。这些守恒量导致权重矩阵有界、层间平衡条件成立，并表现出类似核函数的收敛行为，从而为泛化和优化提供了超越标准核方法的更深层次理解。

ABSTRACT

Symmetries have proven to be important ingredients in the analysis of neural networks. So far their use has mostly been implicit or seemingly coincidental. We undertake a systematic study of the role that symmetry plays. In particular, we clarify how symmetry interacts with the learning algorithm. The key ingredient in our study is played by Noether's celebrated theorem which, informally speaking, states that symmetry leads to conserved quantities (e.g., conservation of energy or conservation of momentum). In the realm of neural networks under gradient descent, model symmetries imply restrictions on the gradient path. E.g., we show that symmetry of activation functions leads to boundedness of weight matrices, for the specific case of linear activations it leads to balance equations of consecutive layers, data augmentation leads to gradient paths that have "momentum"-type restrictions, and time symmetry leads to a version of the Neural Tangent Kernel. Symmetry alone does not specify the optimization path, but the more symmetries are contained in the model the more restrictions are imposed on the path. Since symmetry also implies over-parametrization, this in effect implies that some part of this over-parametrization is cancelled out by the existence of the conserved quantities. Symmetry can therefore be thought of as one further important tool in understanding the performance of neural networks under gradient descent.

研究动机与目标

• 系统分析神经网络中的对称性如何在梯度下降下约束优化动力学。
• 通过将守恒量与诺特定理关联，阐明先前工作中观察到的守恒量（如NTK和NAGF中的守恒量）的起源。
• 证明对称性通过约束权重演化，降低有效模型复杂度，从而抵消过参数化的影响。
• 探讨连续对称性和离散对称性对优化稳定性、收敛性和泛化能力的影响。
• 弥合连续动力学（ODE）与离散算法（GD/SGD）之间的鸿沟，表明守恒定律在实践中依然成立。

提出的方法

• 将理论物理中的诺特定理应用于神经网络架构中的连续对称性，推导守恒量。
• 使用连续时间ODE（如梯度流、NAGF、ND）建模训练动力学，通过拉格朗日形式化分析守恒量。
• 识别由对称性诱导的约束，例如在同质激活函数下权重矩阵的Frobenius范数有界，以及在线性激活函数下层间平衡方程的出现。
• 表明数据增强会引入一种对称性，导致梯度路径具有类似动量的限制。
• 推导出时间平移对称性，产生一个类似能量的守恒量，与神经正切核（NTK）行为相关联。
• 验证尽管基于ODE分析，守恒量在离散优化（GD/SGD）中仍近似保持不变。

实验结果

研究问题

• RQ1 神经网络架构中的连续对称性如何在梯度下降下产生守恒量？
• RQ2 对称性在约束优化路径中起什么作用，其对收敛性和泛化能力有何影响？
• RQ3 诺特定理能否解释在过参数化网络中出现的类似核函数行为（如NTK）？
• RQ4 从连续对称性导出的守恒定律在SGD等离散优化算法中能在多大程度上保持不变？
• RQ5 不同类型的对称性——激活函数对称性、数据增强对称性、时间不变性——各自如何对权重演化施加结构约束？

主要发现

• 激活函数的对称性导致梯度下降下权重矩阵有界，Frobenius范数在整个训练过程中保持受控。
• 对于线性激活函数，对称性会在连续层之间诱导出平衡方程，简化端到端权重矩阵，并保证每一步GD均取得进展。
• 数据增强引入的对称性会限制优化轨迹位于具有类似动量约束的路径上，从而减少有效自由度。
• 优化算法的时间平移不变性导致一个守恒的类似能量的量，与神经正切核相关联，解释了类似核函数的收敛行为。
• 由对称性导出的守恒量有效抵消了部分过参数化的影响，降低了有效模型复杂度。
• 实证验证表明，即使在离散GD和SGD中，守恒量仍近似保持不变，表明其对离散化具有鲁棒性。