[论文解读] On Dropout, Overfitting, and Interaction Effects in Deep Neural Networks

Ben Lengerich, Eric P. Xing+1 more|arXiv (Cornell University)|May 4, 2021

Adversarial Robustness in Machine Learning参考文献 3被引用 12

一句话总结

本文揭示了Dropout通过在Dropout下指数级降低高阶特征交互的存活概率，从而对复杂交互实现选择性正则化。该文对输入Dropout进行了理论证明，并通过实证方法验证了激活Dropout中的这一现象，表明需要更高的Dropout率才能抑制虚假的高阶交互，且即使在无限数据下，基于Dropout的显著性方法也存在偏差。

ABSTRACT

We examine Dropout through the perspective of interactions. Given N variables, there are O(N2) possible pairwise interactions, O(N3) possible 3-way interactions, i.e. O(Nk) possible interactions of k variables. Conversely, the probability of an interaction of k variables surviving Dropout at rate p is O((1−p)k). In this paper, we show that these rates cancel, and as a result, Dropout selectively regularizes against learning higher-order interactions. We prove this new perspective analytically for Input Dropout and empirically for Activation Dropout. This perspective on Dropout has several practical implications: (1) higher Dropout rates should be used when we need stronger regularization against spurious high-order interactions, (2) caution must be used when interpreting Dropout-based feature saliency measures, and (3) networks trained with Input Dropout are biased estimators, even with infinite data. We also compare Dropout to regularization via weight decay and early stopping and find that it is difficult to obtain the same regularization against high-order interactions with these methods.

研究动机与目标

• 通过特征交互正则化的视角理解Dropout的归纳偏置。
• 分析Dropout率如何影响k阶特征交互的存活概率。
• 评估这种交互偏差对模型可解释性和训练的实际影响。
• 比较Dropout与权重衰减和早停法在高阶交互正则化方面的表现。

提出的方法

• 使用组合概率对输入Dropout下交互存活概率进行理论分析。
• 推导出在Dropout下k阶交互的O((1−p)^k)存活率。
• 通过受控实验对激活Dropout中的交互正则化效应进行实证验证。
• 在交互复杂度上比较Dropout、权重衰减和早停法的正则化效果。
• 使用特征显著性分析评估基于Dropout的归因方法中的偏差。
• 数学证明即使在无限数据下，输入Dropout也会导致有偏估计器。

实验结果

研究问题

• RQ1 Dropout如何影响深度网络中k阶特征交互的存活概率？
• RQ2 与低阶交互相比，Dropout在多大程度上选择性地正则化高阶交互？
• RQ3 权重衰减或早停法能否实现与Dropout同等水平的高阶交互正则化？
• RQ4 Dropout引入的交互偏差如何影响特征显著性解释的可靠性？
• RQ5 在无限数据下，使用输入Dropout训练的模型是否为一致估计器？

主要发现

• 在Dropout下，k阶交互的存活概率为O((1−p)^k)，导致高阶交互被指数级抑制。
• 需要更高的Dropout率才能对虚假的高阶交互实现强正则化。
• 即使在无限训练数据下，基于Dropout的特征显著性度量仍是有偏估计器。
• 由于交互抑制效应，使用输入Dropout训练的网络是有偏估计器。
• 权重衰减和早停法无法复制Dropout在高阶交互正则化方面的同等效果。
• Dropout的交互正则化效应可对输入Dropout进行理论证明，并在激活Dropout中通过实证观察到。