[论文解读] Why Regularized Auto-Encoders learn Sparse Representation?

Devansh Arpit, Yingbo Zhou+2 more|arXiv (Cornell University)|May 21, 2015

Neural Networks and Applications参考文献 23被引用 13

一句话总结

本文通过形式化理论分析，解释了为何正则化自编码器会学习到稀疏表征，指出正则化项对编码器偏置的正梯度以及具有零点负饱和特性的非递减激活函数是关键促成因素。该研究通过证明多种自编码器模型（如去噪自编码器和收缩自编码器）的正则化形式满足推导出的稀疏性充分条件，从而将这些模型统一于同一理论框架下，解释了它们在学习稀疏特征方面的经验成功。

ABSTRACT

While the authors of Batch Normalization (BN) identify and address an important problem involved in training deep networks-- extit{Internal Covariate Shift}-- the current solution has certain drawbacks. For instance, BN depends on batch statistics for layerwise input normalization during training which makes the estimates of mean and standard deviation of input (distribution) to hidden layers inaccurate due to shifting parameter values (especially during initial training epochs). Another fundamental problem with BN is that it cannot be used with batch-size $ 1 $ during training. We address these drawbacks of BN by proposing a non-adaptive normalization technique for removing covariate shift, that we call extit{Normalization Propagation}. Our approach does not depend on batch statistics, but rather uses a data-independent parametric estimate of mean and standard-deviation in every layer thus being computationally faster compared with BN. We exploit the observation that the pre-activation before Rectified Linear Units follow Gaussian distribution in deep networks, and that once the first and second order statistics of any given dataset are normalized, we can forward propagate this normalization without the need for recalculating the approximate statistics for hidden layers.

研究动机与目标

• 正式分析为何正则化自编码器会学习到稀疏表征，尽管此前尚无针对该现象的理论研究。
• 识别出促使自编码器隐藏单元实现稀疏性的正则化与激活函数的充分条件。
• 将现有自编码器模型（如去噪、收缩模型）及激活函数（如 ReLU、Sigmoid）统一于单一分析框架之下。
• 通过实证验证理论假设，考察正则化系数与权重长度约束对稀疏性的影响。
• 提供关于显式破坏（如 DAE）与边际化正则化（如 mDAE、CAE）在诱导稀疏性方面相对有效性的见解。

提出的方法

• 推导出促使隐藏单元预激活值降低的正则化充分条件，特别要求正则化项对编码器偏置的梯度为正。
• 分析非递减且在零点具有负饱和特性的激活函数（如 ReLU、Sigmoid、Softplus），表明其在与此类正则化配合时可促进稀疏性。
• 证明主流自编码器目标函数（如去噪自编码器 DAE 和收缩自编码器 CAE）所采用的正则化形式满足所推导出的充分条件。
• 通过理论分析表明，稀疏性主要由正则化带来的偏置梯度主导，而非权重方向或大小。
• 在训练过程中将权重向量约束为固定长度，以隔离正则化的影响，并验证理论模型的预测能力。
• 比较显式破坏（DAE）与边际化正则化（mDAE、CAE），评估其在诱导稀疏性时对一阶与二阶效应的捕捉能力。

实验结果

研究问题

• RQ1 正则化与激活函数需满足何种条件，才能充分促使自编码器隐藏单元实现稀疏性？
• RQ2 为何正则化自编码器（如去噪自编码器和收缩自编码器）在未显式强制稀疏性的情况下仍能学习到稀疏表征？
• RQ3 正则化系数如何影响稀疏性？该关系是否依赖于权重长度约束？
• RQ4 在决定自编码器表征稀疏性时，偏置梯度与权重方向的相对作用是什么？
• RQ5 显式破坏（如 DAE）是否比边际化正则化（如 mDAE、CAE）能更可预测且更有效地诱导稀疏性？

主要发现

• 正则化项对编码器偏置的正梯度是促使自编码器隐藏单元实现稀疏性的充分条件。
• 非递减且在零点具有负饱和特性的激活函数（如 ReLU、Softplus、Sigmoid）在与此类正则化配合时，可促进稀疏性。
• 去噪自编码器（DAE）、收缩自编码器（CAE）以及边际化 DAE（mDAE）的正则化形式均满足所推导出的充分条件，从而解释了其学习稀疏表征的能力。
• 实证结果表明，当偏置梯度为正时，稀疏性随正则化系数增加而提升；当梯度为零时，稀疏性不受影响。
• 将权重向量约束为固定长度可带来更可预测且更稳定的稀疏性趋势，验证了理论模型的预测能力。
• 显式破坏（如 DAE）能同时捕捉正则化的第一阶与第二阶效应，其在诱导稀疏性方面比边际化方法（如 mDAE、CAE）更可靠。