[论文解读] Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Jul 26, 2021

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本教程与综述论文全面概述了受限玻尔兹曼机（RBMs）与深度置信网络（DBNs），阐释其在统计物理与概率图模型中的理论基础，详述通过对比发散（contrastive divergence）与吉布斯采样（Gibbs sampling）进行训练的方法，并通过贪婪预训练与微调展示了其在深度学习中的应用。主要贡献在于为RBMs与DBNs架构提供了一套统一且易于理解的指南，突出了它们在现代深度学习突破之前克服梯度消失问题并实现深度生成模型的关键作用。

ABSTRACT

This is a tutorial and survey paper on Boltzmann Machine (BM), Restricted Boltzmann Machine (RBM), and Deep Belief Network (DBN). We start with the required background on probabilistic graphical models, Markov random field, Gibbs sampling, statistical physics, Ising model, and the Hopfield network. Then, we introduce the structures of BM and RBM. The conditional distributions of visible and hidden variables, Gibbs sampling in RBM for generating variables, training BM and RBM by maximum likelihood estimation, and contrastive divergence are explained. Then, we discuss different possible discrete and continuous distributions for the variables. We introduce conditional RBM and how it is trained. Finally, we explain deep belief network as a stack of RBM models. This paper on Boltzmann machines can be useful in various fields including data science, statistics, neural computation, and statistical physics.

研究动机与目标

• 为机器学习与数据科学领域的研究人员提供关于玻尔兹曼机（BMs）、受限玻尔兹曼机（RBMs）与深度置信网络（DBNs）的全面教程与综述。
• 将统计物理、伊辛模型（Ising model）与霍普菲尔德网络（Hopfield networks）中的基础概念与现代RBMs与DBNs架构相衔接。
• 解释使用最大似然估计、对比发散与吉布斯采样进行RBMs训练的机制，以实现生成建模。
• 展示DBNs如何通过贪婪逐层预训练与后续反向传播微调实现深度学习。
• 强调RBMs与DBNs在克服梯度消失问题与推动深度神经网络复兴方面所具有的历史意义。

提出的方法

• 基于玻尔兹曼/吉布斯分布与统计物理原理，推导BM与RBM的能量模型公式。
• 解释RBMs中可见单元与隐藏单元的条件分布，实现联合概率建模。
• 详述吉布斯采样在RBMs中生成可见与隐藏变量的过程，构成模型采样与训练的基础。
• 引入对比发散作为最大似然训练RBMs的高效近似方法，降低计算成本。
• 提出DBNs的贪婪逐层预训练算法，即每一层均作为RBM进行训练，随后通过反向传播进行微调。
• 描述条件受限玻尔兹曼机（CRBMs）及其在结构化预测任务中的训练方法，扩展RBMs的能力。

实验结果

研究问题

• RQ1 RBMs与DBNs如何在能量基学习的背景下，基于伊辛模型与霍普菲尔德网络进行构建？
• RQ2 对比发散在通过近似最大似然估计实现RBMs高效训练中起到什么作用？
• RQ3 DBNs的贪婪预训练如何缓解深层网络中的梯度消失问题？
• RQ4 RBMs与DBNs在何种方式下可通过自编码器结构配置，用于结构化预测与降维？
• RQ5 RBMs、DBNs与其他能量基模型（如全息机或深度玻尔兹曼机）在理论与实践上的关键异同点是什么？

主要发现

• RBMs与DBNs通过贪婪预训练实现有效的权重初始化，在深层网络中成功克服了梯度消失问题。
• 对比发散通过最小化正向阶段与负向阶段数据分布之间的差异，实现了RBMs的高效近似最大似然训练。
• DBNs可用作深度自编码器实现降维，通过对称的编码-解码架构学习数据的低维表示。
• DBNs在语音识别与动作识别等应用中的成功表现，证明了其在现代深度学习框架兴起之前，对复杂高维数据建模的有效性。
• 尽管现代深度学习中ReLU与Dropout逐渐占据主导地位，RBMs与DBNs仍为2006年后深度神经网络的复兴奠定了理论与实践基础。