[论文解读] On Fast Dropout and its Applicability to Recurrent Networks

Justin Bayer, Christian Osendorfer+4 more|arXiv (Cornell University)|Nov 4, 2013

Neural Networks and Applications参考文献 28被引用 45

一句话总结

本文提出快速丢弃（Fast Dropout, FD）作为循环神经网络（RNN）的正则化方法，表明其作为一种自适应的、基于参数的正则化器，能根据训练误差动态调整。与传统的L2正则化不同，FD避免了在参数空间中形成全局权重吸引子，从而保留了RNN丰富的动力学行为，并在序列音乐建模任务中表现更优，在包括JSBChorales和MuseData在内的四个基准数据集上取得了最先进（SOTA）的结果。

ABSTRACT

Recurrent Neural Networks (RNNs) are rich models for the processing of sequential data. Recent work on advancing the state of the art has been focused on the optimization or modelling of RNNs, mostly motivated by adressing the problems of the vanishing and exploding gradients. The control of overfitting has seen considerably less attention. This paper contributes to that by analyzing fast dropout, a recent regularization method for generalized linear models and neural networks from a back-propagation inspired perspective. We show that fast dropout implements a quadratic form of an adaptive, per-parameter regularizer, which rewards large weights in the light of underfitting, penalizes them for overconfident predictions and vanishes at minima of an unregularized training loss. The derivatives of that regularizer are exclusively based on the training error signal. One consequence of this is the absense of a global weight attractor, which is particularly appealing for RNNs, since the dynamics are not biased towards a certain regime. We positively test the hypothesis that this improves the performance of RNNs on four musical data sets.

研究动机与目标

• 为解决标准RNN中缺乏有效过拟合控制的问题，特别是与梯度消失/爆炸问题相比，后者已有深入研究。
• 探究快速丢弃——一种对随机丢弃的平滑、确定性近似——是否能有效正则化RNN而不破坏其动态行为。
• 分析快速丢弃梯度的数学结构，表明其对应于仅从训练误差信号推导出的二次型自适应正则化器。
• 通过实证验证，FD-RNN在序列建模任务中表现更优，尤其在长期依赖学习方面。

提出的方法

• 通过用可微的确定性近似替代随机神经元丢弃，将快速丢弃应用于RNN，该近似通过学习的丢弃率缩放权重。
• 该方法将正则化损失解释为基于均值的损失和基于方差的正则化项的分解，两者均源自训练误差信号。
• 正则化项被证明会惩罚过度自信的预测（大权重），同时在欠拟合时奖励大权重，且在损失极小值处趋于消失。
• 正则化项的梯度仅依赖于反向传播误差，不依赖于外部先验，从而避免在参数空间中形成全局权重吸引子。
• 实验使用带有Sigmoid输出层的RNN来建模伯努利分布的钢琴卷帘序列，最小化二元交叉熵损失。
• 超参数通过每数据集32次随机搜索进行调优，模型选择基于最低验证误差。

实验结果

研究问题

• RQ1 快速丢弃是否能在不扭曲RNN动态行为的前提下有效正则化RNN？
• RQ2 快速丢弃的梯度与L2或Dropout等传统正则化方法有何关系？
• RQ3 快速丢弃是否能在不引入全局权重吸引子的前提下提升RNN在序列建模任务中的泛化能力？
• RQ4 快速丢弃中缺乏全局吸引子是否导致其在长程依赖任务中表现更优？

主要发现

• 快速丢弃在四个音乐生成基准测试中实现了最先进（SOTA）的测试损失，优于标准RNN，并与更复杂的模型（如RNN-NADE）相当或更优。
• 在JSBChorales数据集上，FD-RNN的测试损失达到7.92，优于标准RNN，并接近更深或更专用架构的性能。
• 循环权重矩阵的谱半径在训练初期先增加，随后减小至稳定值，表明存在动态权重缩放，支持长期记忆而不发散。
• 这一行为在普通RNN中未被观察到，表明快速丢弃在训练初期主动促进权重增长，并在收敛时实现稳定。
• 该方法避免了全局权重吸引子，从而保留了RNN学习丰富、无偏动力学的能力，这对于建模长程依赖至关重要。
• 尽管每数据集仅进行了32次随机搜索，FD-RNN仍能持续实现低测试损失，表明其对超参数选择具有鲁棒性。