[论文解读] Stochastic Training of Residual Networks: a Differential Equation Viewpoint

Qi Sun, Yunzhe Tao+1 more|arXiv (Cornell University)|Dec 1, 2018

Adversarial Robustness in Machine Learning参考文献 26被引用 18

一句话总结

本文提出了一种微分方程框架，将残差网络（ResNets）中的随机训练解释为随机微分方程（SDEs）的弱近似。通过应用随机修正方程方法，表明丢弃率注入在后向柯尔莫哥洛夫方程中起到人工粘性的作用，使损失曲面变平，从而提升泛化性能——该结论在图像分类任务中通过实验得到验证，尽管训练损失更高，但测试准确率有所提升。

ABSTRACT

During the last few years, significant attention has been paid to the stochastic training of artificial neural networks, which is known as an effective regularization approach that helps improve the generalization capability of trained models. In this work, the method of modified equations is applied to show that the residual network and its variants with noise injection can be regarded as weak approximations of stochastic differential equations. Such observations enable us to bridge the stochastic training processes with the optimal control of backward Kolmogorov's equations. This not only offers a novel perspective on the effects of regularization from the loss landscape viewpoint but also sheds light on the design of more reliable and efficient stochastic training strategies. As an example, we propose a new way to utilize Bernoulli dropout within the plain residual network architecture and conduct experiments on a real-world image classification task to substantiate our theoretical findings.

研究动机与目标

• 理解残差网络中随机训练的正则化机制，超越经验观察。
• 在随机ResNet训练与随机微分方程之间建立连续时间联系。
• 从后向柯尔莫哥洛夫方程的角度，将丢弃率解释为二阶人工粘性项。
• 从PDE视角提供损失曲面正则化与泛化性能提升的理论解释。
• 通过真实世界图像分类任务的实证评估，验证理论框架的有效性。

提出的方法

• 应用随机修正方程方法，推导出注入噪声的ResNet的连续时间SDE近似。
• 利用伊藤公式，将随机训练过程与后向柯尔莫哥洛夫方程的最优控制联系起来。
• 将普通ResNet的训练动态解释为由输运方程控制的系统的约束优化问题。
• 证明注入的噪声在PDE公式中起到二阶人工粘性项的作用，从而平滑损失曲面。
• 提出一种新的随机训练策略：在普通ResNet的每个残差块后插入伯努利丢弃率。
• 在真实世界图像分类任务（CIFAR-10）上进行实验，通过调整不同的存活概率来验证理论假设。

实验结果

研究问题

• RQ1 如何通过随机微分方程的视角解释ResNets中的随机训练？
• RQ2 从PDE视角看，丢弃率在改变损失曲面中扮演什么角色？
• RQ3 ResNets中噪声注入与后向柯尔莫哥洛夫方程的最优控制有何关联？
• RQ4 能否定量地将丢弃率的人工粘性效应与泛化性能提升联系起来？
• RQ5 在深层ResNets中，平衡正则化与收敛性的最优丢弃率是多少？

主要发现

• 带有噪声注入的ResNets随机训练在数学上等价于带乘性噪声的SDE的弱近似。
• 丢弃率注入在后向柯尔莫哥洛夫方程中引入了二阶人工粘性项，从而减少尖锐极小值并使损失曲面变平。
• 理论分析表明，这种正则化效应减少了不良局部极小值的数量，并降低了它们之间的能量壁垒。
• 在CIFAR-10上的实证结果表明，采用最优丢弃率（如p=85–97.5%）的随机训练可提升泛化性能，尽管训练损失更高，但测试准确率更高。
• 训练与验证性能之间的差距减小，表明泛化能力增强，尤其在更深的网络（如PreResNet-56和PreResNet-110）中表现更明显。
• 当丢弃率趋近100%时，正则化效果减弱，性能提升也随之减弱，证实了拟合与正则化之间的权衡关系。