[论文解读] On the distance between two neural networks and the stability of learning

Jeremy Bernstein, Arash Vahdat+2 more|arXiv (Cornell University)|Feb 9, 2020

Neural Networks and Applications参考文献 51被引用 13

一句话总结

本文提出深度相对信任（deep relative trust），一种新型神经网络距离度量，能够捕捉组合结构，从而催生一种名为Fromage的新优化算法。Fromage在多种架构（包括ResNets、GANs和transformers）中无需学习率调优，使用固定学习率0.01即可实现最先进（SOTA）的训练性能。

ABSTRACT

This paper relates parameter distance to gradient breakdown for a broad class of nonlinear compositional functions. The analysis leads to a new distance function called deep relative trust and a descent lemma for neural networks. Since the resulting learning rule seems to require little to no learning rate tuning, it may unlock a simpler workflow for training deeper and more complex neural networks. The Python code used in this paper is here: https://github.com/jxbz/fromage.

研究动机与目标

• 解决深度学习中持续存在的学习率调优挑战，尽管研究广泛，该问题仍是主要瓶颈。
• 克服标准梯度下降中二次信任区域的局限性，后者无法有效建模深度神经网络的组合特性。
• 开发一种理论基础扎实的距离度量，准确反映神经网络在参数扰动下的功能行为。
• 基于新距离度量，推导适用于深度网络的下降引理，从而导出实用的优化算法。
• 设计一种优化算法，在无需调整学习率超参数的前提下，保持在多种架构中的高性能表现。

提出的方法

• 通过分析网络函数及其雅可比矩阵的扰动，推导出深度相对信任作为神经网络参数之间的距离度量。
• 将微积分基本定理应用于网络的参数轨迹，利用深度相对信任来界定损失的下降范围。
• 制定一个下降引理，用深度相对信任替代标准梯度下降中的二次惩罚项，确保更新过程稳定且高效。
• 提出Fromage（Frobenius匹配梯度下降），一种学习规则，其中学习率以合理方式控制参数更新的相对大小。
• 在层参数范数上引入归一化约束，以增强训练稳定性，尤其在深层或复杂架构中。
• 在CIFAR-10、ImageNet、GANs和transformers等标准基准上实现并评估Fromage，所有任务均使用固定学习率。

实验结果

研究问题

• RQ1 能否设计一种捕捉深度神经网络组合结构的距离度量，从而实现更稳定且更合理的优化规则？
• RQ2 无学习率调优的优化算法在多种深度学习架构中能有多大的有效性？
• RQ3 深度相对信任在建模非线性、深层网络中的参数更新方面，与传统二次信任区域相比表现如何？
• RQ4 Fromage在现代基准上是否能在不调优学习率的前提下，超越SGD和Adam等标准优化器？
• RQ5 跳跃连接等架构组件如何影响深度相对信任度量及其带来的优化动力学？

主要发现

• 在CIFAR-10、ImageNet、GANs和transformers四个基准上，Fromage使用固定学习率0.01，训练损失显著低于SGD和Adam。
• 在CIFAR-10上，Fromage的训练损失为(2.5±0.5)×10⁻⁵，优于SGD的(1.5±0.2)×10⁻⁴和Adam的(6±3)×10⁻⁵。
• 在ImageNet上，Fromage的训练损失为2.001±0.001，与最佳基线模型持平，且所有任务均使用相同学习率。
• 在GANs上，Fromage将FID从基线的34±2降低至16±1，展示了无需学习率调优的优越生成性能。
• 在transformer基准上，Fromage将困惑度降至66.1±0.1，而SGD为150.0±0.3，Adam为36.8±0.1，且未进行学习率调整。
• 该方法在transformers和GANs等复杂架构中依然保持稳定与高效，表明其适用范围远超简单的多层感知机。