[论文解读] Noisin: Unbiased Regularization for Recurrent Neural Networks

Adji Bousso Dieng, Rajesh Ranganath+2 more|arXiv (Cornell University)|May 3, 2018

Neural Networks and Applications参考文献 40被引用 14

一句话总结

Noisin 提出了一种新颖的、无偏的循环神经网络（RNN）正则化方法，通过向隐藏状态注入随机噪声并最大化数据的边际似然，实现正则化。通过确保噪声注入的转移函数在平均意义上无偏，Noisin 提供了显式的正则化，提升了泛化性能，在 Penn Treebank 和 Wikitext-2 上分别相对于 dropout 实现了最高 12.2% 和 9.4% 的相对性能提升。

ABSTRACT

Recurrent neural networks (RNNs) are powerful models of sequential data. They have been successfully used in domains such as text and speech. However, RNNs are susceptible to overfitting; regularization is important. In this paper we develop Noisin, a new method for regularizing RNNs. Noisin injects random noise into the hidden states of the RNN and then maximizes the corresponding marginal likelihood of the data. We show how Noisin applies to any RNN and we study many different types of noise. Noisin is unbiased--it preserves the underlying RNN on average. We characterize how Noisin regularizes its RNN both theoretically and empirically. On language modeling benchmarks, Noisin improves over dropout by as much as 12.2% on the Penn Treebank and 9.4% on the Wikitext-2 dataset. We also compared the state-of-the-art language model of Yang et al. 2017, both with and without Noisin. On the Penn Treebank, the method with Noisin more quickly reaches state-of-the-art performance.

研究动机与目标

• 为解决循环神经网络（RNN）在序列数据上因高度灵活而容易过拟合的问题。
• 开发一种正则化方法，在不破坏底层 RNN 结构的前提下提升泛化能力。
• 形式化一种无偏的噪声注入机制，从而产生明确定义的正则化惩罚项。
• 在标准语言建模基准上，通过多种 RNN 架构和噪声类型验证 Noisin 的有效性。

提出的方法

• 在训练过程中向 RNN 的隐藏状态注入随机噪声，将确定性的转移函数转变为随机性函数。
• 在噪声注入的 RNN 下，通过最大化观测数据的边际似然，实现对转移函数局部邻域的平均化。
• 施加强无偏性条件，确保噪声注入转移函数的期望值等于原始的确定性函数。
• 推导出以噪声方差为函数的正则化项，该正则化项惩罚对扰动敏感的组件，从而提升模型鲁棒性。
• 适用于任意 RNN 变体（如 LSTM、GRU），并支持多种噪声分布，包括高斯分布和伯努利分布。
• 利用对数归一化因子的二阶泰勒展开，将正则化项表示为对数归一化因子的黑塞矩阵与噪声注入隐藏状态协方差的函数。

实验结果

研究问题

• RQ1 向 RNN 隐藏状态注入噪声是否能提供一种有理论依据且有效的正则化方法，从而提升泛化性能？
• RQ2 无偏性条件如何影响正则化 RNN 的理论性质和实际性能表现？
• RQ3 噪声注入所诱导的隐式正则化惩罚项的形式是什么？它与模型鲁棒性有何关联？
• RQ4 在语言建模任务中，Noisin 相较于 dropout 和权重衰减等现有正则化技术的性能表现如何？
• RQ5 Noisin 是否能加速收敛至语言建模任务的最先进性能？

主要发现

• 在 Penn Treebank 上，Noisin 相较于标准 LSTM 最多提升 37.3% 的相对性能，相较于 dropout-LSTM 最多提升 12.2%。
• 在 Wikitext-2 数据集上，Noisin 相较于标准 LSTM 最多提升 39.0% 的相对性能，相较于 dropout-LSTM 最多提升 9.4%。
• 采用 Noisin 的方法比 Yang 等人（2017）的基线模型更快速达到 Penn Treebank 上的最先进性能。
• 理论分析表明，Noisin 的正则化项非负，且对应于基于噪声方差和对数归一化因子黑塞矩阵的惩罚项。
• 实验结果证实，Noisin 使损失曲面更加平滑，有效防止过拟合，表现为训练和验证困惑度的一致性提升。
• 无偏性条件确保了噪声注入 RNN 的期望行为与原始确定性 RNN 一致，从而在保持模型完整性的同时增强鲁棒性。