[论文解读] On Training Deep Boltzmann Machines

Guillaume Desjardins, Aaron Courville+1 more|arXiv (Cornell University)|Mar 20, 2012

Generative Adversarial Networks and Image Synthesis参考文献 9被引用 13

一句话总结

本文提出了一种基于范数的正则化方案，通过鼓励各层之间的权重向量具有相似的大小，来稳定深度玻尔兹曼机（DBMs）的联合训练。通过惩罚权重范数分布的方差，该方法实现了所有层的同时成功训练——在MNIST数据中学习到了有意义的、类似笔画的特征，而标准随机最大似然方法则无法实现。

ABSTRACT

The deep Boltzmann machine (DBM) has been an important development in the quest for powerful "deep" probabilistic models. To date, simultaneous or joint training of all layers of the DBM has been largely unsuccessful with existing training methods. We introduce a simple regularization scheme that encourages the weight vectors associated with each hidden unit to have similar norms. We demonstrate that this regularization can be easily combined with standard stochastic maximum likelihood to yield an effective training strategy for the simultaneous training of all layers of the deep Boltzmann machine.

研究动机与目标

• 为解决使用标准随机最大似然（SML）方法进行深度玻尔兹曼机（DBMs）联合训练时持续存在的不良局部极小值问题。
• 通过实现所有DBM层的同时端到端训练，消除对贪婪逐层预训练的依赖。
• 开发一种正则化策略，通过鼓励各层间权重向量范数的一致性，促进所有隐藏单元的均衡贡献。
• 证明该正则化方法可在不牺牲模型深度或拓扑灵活性的前提下，实现深度生成模型中的有效特征学习。

提出的方法

• 引入一个正则化项，通过平方误差惩罚，使各层中单个权重向量范数与该层平均范数的偏离受到抑制。
• 将正则化扩展至强制相邻层的平均范数相似，采用额外的 $ l^2 $-基于惩罚。
• 将正则化整合进标准随机最大似然（SML）目标，形成正则化-SML训练准则。
• 为均值范数参数 ($ \mu^{(l)} $) 使用独立的、较慢的学习率，以确保优化稳定。
• 通过结合具有活跃连接的低层权重来可视化学习到的滤波器，从而解释分层特征表示。
• 在MNIST上使用固定超参数训练模型，并评估滤波器质量和收敛行为。

实验结果

研究问题

• RQ1 是否可以在不依赖贪婪逐层预训练的前提下，稳定深度玻尔兹曼机所有层的联合训练？
• RQ2 为何标准随机最大似然方法在训练深度玻尔兹曼机时效果不佳，特别是在第一隐藏层？
• RQ3 在层内和层间强制权重向量范数的一致性，是否能改善模型训练和特征学习？
• RQ4 该正则化方案是否可扩展至两到三层以上的更深DBMs？
• RQ5 该正则化如何影响可见层和隐藏层中学习到的滤波器的质量与可解释性？

主要发现

• 在MNIST上使用标准SML训练三层DBM时，许多第一层滤波器的范数极小，表现为类似随机噪声，对模型贡献甚微。
• 所提出的正则化方案成功训练了一个每层500个单元的两层DBM，其第一层滤波器呈现出类似笔画检测器的形态，表明实现了有意义的特征学习。
• 正则化模型的第二层滤波器将低层特征组合成更复杂的、类似数字的模式，展示了分层表征学习的能力。
• 正则化通过防止模型陷入权重范数方差高的不良局部极小值，稳定了训练过程。
• 该方法实现了无需预训练的联合训练，使高层能够影响低层滤波器的学习，从而保持了拓扑灵活性。
• 该方法在不同学习率和批量大小下均表现有效，对更深架构也展现出潜力，尽管更深层次的实验留待未来工作。