[论文解读] Training Recurrent Neural Networks by Diffusion

Hossein Mobahi|arXiv (Cornell University)|Jan 16, 2016

Model Reduction and Neural Networks参考文献 25被引用 26

一句话总结

本文提出了一种基于扩散方程优化的循环神经网络（RNNs）新型训练方法，自然地整合了噪声注入、逐层预训练和学习率退火等技术。该方法通过高斯卷积逐步平滑损失曲面，实现与SGD相当的泛化性能，但训练轮次显著减少——RNN训练速度最高可提升25%。

ABSTRACT

This work presents a new algorithm for training recurrent neural networks (although ideas are applicable to feedforward networks as well). The algorithm is derived from a theory in nonconvex optimization related to the diffusion equation. The contributions made in this work are two fold. First, we show how some seemingly disconnected mechanisms used in deep learning such as smart initialization, annealed learning rate, layerwise pretraining, and noise injection (as done in dropout and SGD) arise naturally and automatically from this framework, without manually crafting them into the algorithms. Second, we present some preliminary results on comparing the proposed method against SGD. It turns out that the new algorithm can achieve similar level of generalization accuracy of SGD in much fewer number of epochs.

研究动机与目标

• 开发一种理论基础坚实的统一框架，用于训练深度网络，自然整合常见的深度学习启发式方法。
• 解决RNN和深度网络中非凸复杂损失曲面的优化挑战。
• 通过原理清晰的连续平滑过程，替代迭代的启发式技术，提升训练效率。
• 探究基于扩散的优化是否能在更少训练轮次内实现优于SGD的泛化性能。
• 为包含ReLU和符号激活函数的常见深度学习目标函数，提供扩散过程的闭式近似。

提出的方法

• 通过将原始目标函数与高斯核进行卷积，推导出平滑的代理损失函数，本质上是求解时间上的扩散方程。
• 平滑参数σ从大值（高度平滑）逐渐减小至零（原始损失），实现一种延续方法，使最小化路径能通过中间问题的解。
• 该框架可解析计算常见激活函数（如ReLU、符号函数）的扩散形式，实现深度网络中平滑目标函数的闭式计算。
• 该方法通过扩散过程统一并自然地引入噪声注入、逐层预训练和学习率退火等技术。
• 算法从高度平滑的目标函数（大σ）开始初始化，随着σ减小逐步优化解，避免尖锐极小值，偏好更宽广、更稳定的吸引盆。
• 该方法通过闭式计算无穷多扰动的边缘化效应，避免采样式噪声注入，类似于边缘化去噪自编码器，但适用于完整的非凸优化问题。

实验结果

研究问题

• RQ1 扩散方程框架能否统一并自然生成常见的深度学习训练启发式方法，如Dropout、学习率退火和逐层预训练？
• RQ2 基于扩散的优化方法是否能在减少训练时间的同时，实现与SGD相当的泛化性能？
• RQ3 是否能对包含非线性激活函数（如ReLU和符号函数）的深度学习损失函数进行高斯卷积的闭式计算？
• RQ4 平滑过程如何影响优化轨迹，特别是在逃离不良局部极小值和收敛至更宽广、更稳定极小值方面？
• RQ5 基于扩散的方法在多大程度上通过偏好平坦极小值来提升泛化性能，与SGD相比表现如何？

主要发现

• 所提出的基于扩散的训练方法在泛化准确率上与SGD相当，但训练轮次显著减少——RNN训练时间最高可缩短25%。
• 该框架自然生成噪声注入、逐层预训练和学习率退火作为扩散过程的内在组成部分，无需人工设计。
• 常见激活函数（如ReLU和符号函数）的扩散形式可进行闭式计算，从而高效计算平滑目标函数。
• 通过高斯卷积平滑损失曲面，偏好更宽广、更稳定的极小值，这可能有助于提升泛化性能，与近期关于SGD的研究发现一致。
• 该方法通过闭式计算无穷多扰动的边缘化效应，避免采样，类似于边缘化去噪自编码器，但可应用于完整的非凸深度网络。
• 该方法在理论上基于延续方法中扩散最优性的原理，扩散过程收敛于目标函数的凸包。