[论文解读] Survey of Dropout Methods for Deep Neural Networks

Alex Labach, Hojjat Salehinejad+1 more|arXiv (Cornell University)|Apr 25, 2019

Adversarial Robustness in Machine Learning参考文献 46被引用 46

一句话总结

对深度神经网络 dropout 方法的全面综述，涵盖标准 dropout、CNN/RNN 的变体、模型压缩、蒙特卡罗 dropout，以及理论基础。

ABSTRACT

Dropout methods are a family of stochastic techniques used in neural network training or inference that have generated significant research interest and are widely used in practice. They have been successfully applied in neural network regularization, model compression, and in measuring the uncertainty of neural network outputs. While original formulated for dense neural network layers, recent advances have made dropout methods also applicable to convolutional and recurrent neural network layers. This paper summarizes the history of dropout methods, their various applications, and current areas of research interest. Important proposed methods are described in additional detail.

研究动机与目标

• 总结深度学习中 dropout 方法的历史与范围。
• 描述标准 dropout 及其理论解释与局限性。
• 综述用于训练、卷积层与循环层以及模型压缩的 dropout 变体。
• 讨论蒙特卡罗 dropout 及其在不确定性估计中的作用。
• 概述 dropout 方法的当前研究方向与未来趋势。

提出的方法

• 给出原始 dropout 的公式及其在测试时的缩放。
• 描述替代的 dropout 技术（DropConnect、Fast Dropout、Standout、变分 dropout）。
• 解释自适应 dropout 方法（退火式、课程式、受贝叶斯启发的方法）。
• 详细介绍针对 CNN 的 dropout（空间 dropout、Cutout、最大池化 dropout、残差网络）。
• 解释面向 RNN/LSTM 的 dropout 方法（RNNdrop、变分 RNN dropout、权重丢弃的 LSTM、循环 dropout、Zoneout）。
• 讨论基于 dropout 的模型压缩以及用于不确定性估计的蒙特卡罗 dropout。

实验结果

研究问题

• RQ1 自2012年以来开发出的关键 dropout 方法有哪些及其主要特征？
• RQ2 dropout 方法如何推广到卷积与循环网络结构？
• RQ3 基于 dropout 的方法在模型压缩与不确定性估计中的作用是什么？
• RQ4 支撑 dropout 方法的理论解释有哪些（集成平均、贝叶斯视角）？

主要发现

• Dropout 起源于用作正则化技术以防止共适应并提高泛化能力。
• 广泛的 dropout 变体提升了训练速度、正则化效果，以及对不同架构的适应性。
• 针对 CNN 与 RNN 的专门 dropout 方法解决了标准 dropout 在相关激活以及记忆保持方面的局限性。
• 蒙特卡罗 dropout 能在不改变训练过程的情况下实现不确定性估计。
• dropout 方法通过稀疏化和结构化 dropout 方案促进模型压缩。
• 理论框架将 dropout 与集成平均和贝叶斯推断联系起来，指导未来发展。