[论文解读] On Dropout and Nuclear Norm Regularization

Poorya Mianjy, Raman Arora|arXiv (Cornell University)|May 28, 2019

Nuclear reactor physics and engineering参考文献 38被引用 9

一句话总结

本文对深度线性网络在平方损失下由Dropout引起的隐式正则化提供了形式化表征。结果表明，Dropout会诱导出一个显式正则化项，该正则化项由ℓ₂路径正则化项和重标度不变项组成，其凸包络即为网络映射的平方核范数；在高Dropout率下，进一步表征了全局最优解为最小化网络映射核范数的解。

ABSTRACT

We give a formal and complete characterization of the explicit regularizer induced by dropout in deep linear networks with squared loss. We show that (a) the explicit regularizer is composed of an $\ell_2$-path regularizer and other terms that are also re-scaling invariant, (b) the convex envelope of the induced regularizer is the squared nuclear norm of the network map, and (c) for a sufficiently large dropout rate, we characterize the global optima of the dropout objective. We validate our theoretical findings with empirical results.

研究动机与目标

• 对深度线性网络在平方损失下由Dropout引起的显式正则化项进行形式化表征。
• 分析所诱导正则化项的凸包络，并将其与网络映射的核范数相关联。
• 在高Dropout率下识别Dropout目标函数的全局最优解。
• 通过合成与真实世界回归任务的实证结果，验证理论发现中Dropout与低秩解之间关系。

提出的方法

• 通过分析伯努利Dropout掩码下期望损失的推导，获得由Dropout诱导的显式正则化项。
• 证明该正则化项在网络权重重标度变换下保持不变，其组成部分包括ℓ₂路径正则化项。
• 建立所诱导正则化项的凸包络即为网络映射的平方核范数。
• 利用拉格朗日对偶与KKT条件，表征高Dropout率下的全局最优解。
• 通过对偶形式应用奇异值收缩技术，表明最优解为低秩解。
• 在合成数据与真实世界回归任务上，通过实证方法验证理论结论。

实验结果

研究问题

• RQ1 在深度线性网络与平方损失下，Dropout所诱导的显式正则化项是什么？
• RQ2 所诱导正则化项的凸包络如何与网络映射的核范数相关联？
• RQ3 在何种条件下，Dropout会使网络映射产生低秩解？
• RQ4 Dropout目标函数的全局最优解与核范数最小化之间有何关系？
• RQ5 该正则化项的理论表征能否通过实证方法得到验证？

主要发现

• 由Dropout诱导的显式正则化项由ℓ₂路径正则化项和额外的重标度不变项组成。
• 所诱导正则化项的凸包络即为网络映射的平方核范数。
• 当Dropout率足够高时，Dropout目标函数的全局最优解对应于最小化网络映射核范数的解。
• 最优解表现出奇异值收缩特性，即非零奇异值按Dropout率成比例减小。
• 最优网络映射的秩受满足由Dropout率导出的阈值条件的非零奇异值数量所限制。
• 实证结果证实，Dropout能够促进低秩解的产生，与理论预测的核范数正则化一致。