[论文解读] Sparse Penalty in Deep Belief Networks: Using the Mixed Norm Constraint

Xanadu Halkias, Sébastien Paris+1 more|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference被引用 16

一句话总结

本文提出在深度置信网络（DBNs）中使用混合范数正则化（l1,2）以实现隐藏单元的稀疏性，分别应用于非重叠和重叠的隐藏单元组。该方法在数字识别任务中提升了特征学习能力和分类准确率，最优性能出现在较大组尺寸（如10–100个单元）时，在MNIST数据集上达到最高98.83%的准确率；而由于过度稀疏化导致激活值趋近于零，重叠组配置的准确率较低。

ABSTRACT

Deep Belief Networks (DBN) have been successfully applied on popular machine learning tasks. Specifically, when applied on hand-written digit recognition, DBNs have achieved approximate accuracy rates of 98.8%. In an effort to optimize the data representation achieved by the DBN and maximize their descriptive power, recent advances have focused on inducing sparse constraints at each layer of the DBN. In this paper we present a theoretical approach for sparse constraints in the DBN using the mixed norm for both non-overlapping and overlapping groups. We explore how these constraints affect the classification accuracy for digit recognition in three different datasets (MNIST, USPS, RIMES) and provide initial estimations of their usefulness by altering different parameters such as the group size and overlap percentage.

研究动机与目标

• 通过混合范数正则化强制稀疏性，提升深度置信网络（DBNs）的特征表示与分类准确率。
• 研究组结构（特别是非重叠与重叠组）对数字识别中模型性能的影响。
• 为在DBN架构中对RBM隐藏单元应用混合范数约束（l1,2）提供实用框架。
• 评估在不同组大小与重叠比例下，分类准确率与计算成本之间的权衡。

提出的方法

• 将l1,2混合范数正则化器应用于DBN中RBM的隐藏单元激活概率。
• 通过将隐藏单元划分为非重叠或重叠组实现组级稀疏性，组大小分别为5、10、20、50和100。
• 通过在负对数似然函数上使用固定正则化参数λ = 0.1的梯度下降法实现正则化器。
• 采用对比散列（CD）方法高效训练RBM，并使用共轭梯度法对softmax输出层进行DBN端到端微调。
• 将该方法应用于在MNIST、USPS和RIMES数据集上预训练的500-500-2000 DBN架构。
• 使用批量处理计算平均激活概率密度函数，用于稀疏性模式的可视化与分析。

实验结果

研究问题

• RQ1 在手写数字识别中，使用混合范数正则化（l1,2）如何影响DBNs的分类准确率？
• RQ2 在非重叠组配置中，组大小（5、10、20、50、100）的变化对性能与稀疏性有何影响？
• RQ3 在准确率与计算成本方面，重叠组（20%与50%重叠）与非重叠组相比如何？
• RQ4 混合范数正则化能否通过在隐藏单元中促进结构化稀疏性来改善特征学习？
• RQ5 在应用不同稀疏性约束时，模型准确率与训练时间之间的权衡如何？

主要发现

• 所提出的混合范数DBN在MNIST数据集上实现了98.83%的分类准确率，与标准DBN性能相当。
• 非重叠组配置中，组尺寸越大（10–100），准确率越高，组大小为10时达到98.83%，组大小为100时为98.80%。
• 重叠组配置导致显著更低的准确率——例如在MNIST上，20/20%重叠配置为95.10%，20/50%重叠配置为93.50%，原因是过度稀疏化使激活值趋近于零。
• 重叠组的计算成本更高，部分RIMES和MNIST配置的训练时间超过60小时。
• 激活概率的可视化显示，重叠组模型将激活概率强烈驱动至零，表明存在过度剪枝现象。
• l1,2正则化器实现了结构化稀疏性，但其有效性对组大小与重叠程度高度敏感，最优性能出现在较大的非重叠组中。