[论文解读] Noisy Recurrent Neural Networks

Soon Hoe Lim, N. Benjamin Erichson+2 more|arXiv (Cornell University)|Feb 9, 2021

Model Reduction and Neural Networks参考文献 88被引用 6

一句话总结

本文提出噪声递归神经网络（NRNNs），在训练过程中向隐藏状态注入噪声，以隐式正则化模型。通过将NRNNs建模为随机微分方程的离散化形式，作者证明噪声注入可促进更平坦的极小值，增强动态稳定性，并增大分类边界——从而在保持干净数据上最先进性能的同时，提升对输入扰动的鲁棒性。

ABSTRACT

We provide a general framework for studying recurrent neural networks (RNNs) trained by injecting noise into hidden states. Specifically, we consider RNNs that can be viewed as discretizations of stochastic differential equations driven by input data. This framework allows us to study the implicit regularization effect of general noise injection schemes by deriving an approximate explicit regularizer in the small noise regime. We find that, under reasonable assumptions, this implicit regularization promotes flatter minima; it biases towards models with more stable dynamics; and, in classification tasks, it favors models with larger classification margin. Sufficient conditions for global stability are obtained, highlighting the phenomenon of stochastic stabilization, where noise injection can improve stability during training. Our theory is supported by empirical results which demonstrate that the RNNs have improved robustness with respect to various input perturbations.

研究动机与目标

• 开发一个理论框架，以理解 RNN 中噪声注入如何提升泛化能力和鲁棒性。
• 通过在小噪声条件下推导显式正则项，识别噪声注入的隐式正则化效应。
• 建立 RNN 中噪声诱导的稳定性、平坦极小值与大分类边界之间的联系。
• 通过实证验证 NRNN 在保持干净数据高准确率的同时，对输入扰动更具鲁棒性。
• 证明噪声注入可实现随机稳定化，从而改善训练动力学。

提出的方法

• 将 RNN 建模为由输入数据和噪声驱动的随机微分方程（SDE）的离散化形式。
• 在小噪声条件下推导显式正则项，以表征隐式正则化效应。
• 使用李雅普诺夫稳定性分析，证明噪声注入下全局稳定性的充分条件。
• 将分类边界表述为 RNN 动力学与噪声诱导正则化函数的函数。
• 使用加法噪声和乘法噪声训练 NRNN，通过调节噪声水平以在干净数据上优化性能。
• 在基准任务上，将 NRNN 与最先进 RNN 变体（如 CoRNN、Lipschitz RNN、Exponential RNN）进行比较，评估其在干净输入和扰动输入下的表现。

实验结果

研究问题

• RQ1 RNN 中的噪声注入如何影响训练过程的隐式正则化？
• RQ2 在小噪声条件下，噪声注入诱导的正则项的显式形式是什么？
• RQ3 噪声注入能否在 RNN 训练中带来改进的稳定性与更平坦的极小值？
• RQ4 噪声注入是否能增强 RNN 的分类边界？若能，其与动力学稳定性的关联机制是什么？
• RQ5 与确定性 RNN 相比，NRNN 在多大程度上提升了对输入扰动的鲁棒性？

主要发现

• NRNN 在干净 MNIST 和置换 MNIST 基准测试中达到最先进性能，干净数据测试准确率达到 94.9%。
• 在白噪声扰动（σ=0.3）下，NRNN 保持 94.3% 的准确率，显著优于 CoRNN（29.1%）和 Exponential RNN（61.6%）。
• 在椒盐噪声（α=0.1）下，NRNN 达到 88.6% 的准确率，而反称 RNN 为 72.6%，CoRNN 为 52.6%。
• NRNN 的海森矩阵景观比确定性 RNN 更平滑，表明其具有更平坦的极小值。
• 噪声注入带来随机稳定化，理论条件表明连续时间 NRNN 的全局稳定性得到改善。
• 噪声带来的隐式正则化倾向于选择具有更大分类边界的模型，这与更好的泛化性和鲁棒性相关。