[论文解读] Regularization for Unsupervised Deep Neural Nets

Baiyang Wang, Diego Klabjan|arXiv (Cornell University)|Aug 15, 2016

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

本文将常见的正则化技术——如 Dropout、DropConnect 以及 L2/L1 正则化——扩展至生成式深度神经网络（如 RBM、DBN 和 DBM）。提出了一种部分 Dropout/DropConnect（PDC）方法，以提升训练效率与泛化性能。通过实证评估表明，PDC 在多种数据集上均能一致地降低分类误差，优于其他方法。

ABSTRACT

Unsupervised neural networks, such as restricted Boltzmann machines (RBMs) and deep belief networks (DBNs), are powerful tools for feature selection and pattern recognition tasks. We demonstrate that overfitting occurs in such models just as in deep feedforward neural networks, and discuss possible regularization methods to reduce overfitting. We also propose a "partial" approach to improve the efficiency of Dropout/DropConnect in this scenario, and discuss the theoretical justification of these methods from model convergence and likelihood bounds. Finally, we compare the performance of these methods based on their likelihood and classification error rates for various pattern recognition data sets.

研究动机与目标

• 为解决 RBM、DBN 和 DBM 等无监督深度神经网络在具备强大特征学习能力的同时仍易出现过拟合的问题。
• 将标准正则化方法（如 Dropout、DropConnect 及 L2/L1 正则化）从有监督网络推广至无监督深度学习场景。
• 提出并从理论上证明一种新型的‘部分’ Dropout 与 DropConnect 方法（PDC），以提升训练效率与模型泛化能力。
• 通过在多种真实世界数据集上的全面实证比较，评估正则化方法在对数似然与分类误差方面的表现。
• 基于模型收敛性、似然界与性能指标，为无监督深度学习中的正则化技术选择提供实用指导。

提出的方法

• 将标准正则化技术（Dropout、DropConnect、L2 及自适应 L1（AL1））适配至无监督深度神经网络，包括 RBM、DBN 和 DBM。
• 提出部分 Dropout/DropConnect（PDC），即在每次训练迭代中仅随机丢弃部分神经元或权重，从而在保持正则化优势的同时降低计算开销。
• 理论分析基于模型收敛性与似然界，表明 PDC 在保持标准 Dropout 的平均化效应的同时，提升了训练稳定性。
• 实证评估采用随机梯度下降结合对比发散（CD）或 PCD 算法进行模型训练，随后进行特征提取并使用逻辑回归进行分类。
• 正则化应用于深度自编码器（如 RSM、高斯 RBM）的预训练阶段，性能通过在保留验证集上的分类误差与似然值进行衡量。
• 理论依据将 Dropout 与自适应 L2 正则化关联，且证明 PDC 可近似实现对部分网络架构的模型平均，从而增强泛化能力。

实验结果

研究问题

• RQ1 当应用于 RBM 和 DBN 等无监督深度神经网络时，标准正则化技术（如 Dropout、DropConnect 及 L2/L1）的表现如何？
• RQ2 从模型收敛性与似然界的角度出发，对无监督深度网络应用正则化方法（包括 PDC）的理论依据是什么？
• RQ3 与标准 Dropout 和 DropConnect 相比，无监督设置下‘部分’形式的 Dropout/DropConnect（PDC）是否能提升训练效率与泛化性能？
• RQ4 在多种无监督深度学习任务与数据集上，哪种正则化方法能实现最一致且最低的分类误差？
• RQ5 正则化方法在不同数据模态（如文本、图像、音频）与网络架构（如 RSM、高斯 RBM、DBM）下的性能表现如何？

主要发现

• 在六个基准数据集（包括 NORB、20 Newsgroups、Reuters21578 和 ISOLET）上，部分 Dropout/DropConnect（PDC）实现了最低的分类误差，优于标准 Dropout 及其他方法。
• 在 20 Newsgroups 数据集上，PDC 实现了 9.84% 的分类误差，显著低于无正则化的基线误差 10.50%。
• 在 ISOLET 数据集上，PDC 将误差率降低至 3.78%，优于无正则化基线的 3.98%，表现出持续改进。
• L2 与 L2+AL1 正则化方法在所有数据集上均表现稳健，其中 L2+AL1 在 Reuters21578 数据集上取得最低误差（9.99%）。
• DropConnect（DC）在 20 Newsgroups 数据集上表现欠佳（误差率达 35.2%），表明其在未修改的情况下可能不适用于高维文本数据。
• 所提出的 PDC 方法最为稳定且始终有效，在所有数据集上均优于标准 Dropout 与 DropConnect，因此推荐作为无监督深度学习的首选正则化策略。