[论文解读] Training Restricted Boltzmann Machines via the Thouless-Anderson-Palmer Free Energy

Marylou Gabrié, Eric W. Tramel+1 more|arXiv (Cornell University)|Jun 9, 2015

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 9

一句话总结

本文提出了一种基于统计物理中改进的平均场方法——Thouless-Anderson-Palmer（TAP）近似，用于受限玻尔兹曼机（RBMs）的确定性训练方法。通过引入比朴素平均场更高阶的校正项，该方法在性能上可与持续对比散度（PCD）相媲美，同时具备清晰且可解析计算的目标函数，从而能够高效监控训练过程。

ABSTRACT

Restricted Boltzmann machines are undirected neural networks which have been shown to be effective in many applications, including serving as initializations for training deep multi-layer neural networks. One of the main reasons for their success is the existence of efficient and practical stochastic algorithms, such as contrastive divergence, for unsupervised training. We propose an alternative deterministic iterative procedure based on an improved mean field method from statistical physics known as the Thouless-Anderson-Palmer approach. We demonstrate that our algorithm provides performance equal to, and sometimes superior to, persistent contrastive divergence, while also providing a clear and easy to evaluate objective function. We believe that this strategy can be easily generalized to other models as well as to more accurate higher-order approximations, paving the way for systematic improvements in training Boltzmann machines with hidden units.

研究动机与目标

• 开发一种对比于对比散度（CD）和持续对比散度（PCD）等广泛使用但理论依据尚不完全清晰的随机RBMs训练方法的确定性替代方案。
• 通过采用Thouless-Anderson-Palmer（TAP）方法扩展近似至更高阶项，克服朴素平均场方法在RBMs训练中表现不佳的问题。
• 提供一种实用且可解析计算的目标函数，用于在RBMs训练过程中监控无监督学习的进展。
• 证明更高阶平均场近似可系统性地提升具有隐单元模型的训练效率与性能。
• 探索该方法在其他模型中的泛化潜力，包括高斯-伯努利RBMs和多层架构。

提出的方法

• 该方法采用Thouless-Anderson-Palmer（TAP）自由能展开，包含对朴素平均场近似的二阶及以上阶校正项，从而更准确地估计配分函数与自由能。
• TAP近似使得基于扩展平均场（EMF）自由能的闭式、可解析计算的目标函数得以推导，该目标函数用于指导参数更新。
• 该算法通过计算基于TAP的目标函数的梯度，对RBMs的参数（权重、偏置）执行迭代更新，避免了随机采样，从而实现确定性训练。
• 通过将实值输入视为磁化强度，该方法被扩展至处理二值与实值可见单元，从而超越了标准二值RBMs的应用范围。
• 通过在MNIST和Caltech 101 Silhouettes数据集上与CD-1和PCD进行比较，验证了该方法的有效性，采用对数似然和分类准确率作为评估指标。
• 系统评估了最高至三阶的高阶项，结果表明超过二阶后收益递减，表明该展开已趋于收敛。

实验结果

研究问题

• RQ1 与朴素平均场相比，Thouless-Anderson-Palmer（TAP）平均场近似是否能显著提升确定性RBMs训练的性能？
• RQ2 基于TAP的目标函数是否能提供一种可靠且高效的替代方案，以取代CD和PCD等随机训练算法？
• RQ3 扩展平均场方法是否可推广至具有实值可见单元的模型中？在该类设置下其性能是否保持稳定？
• RQ4 在RBMs学习中，高于二阶的校正项如何影响训练性能与收敛性？
• RQ5 基于TAP的方法是否能在不依赖随机采样的前提下，实现与PCD相当的分类准确率？

主要发现

• 基于TAP的确定性训练方法在测试集对数似然性能上可与持续对比散度（PCD）相媲美，且在训练周期中无明显性能下降。
• P-TAP2算法（带二阶校正的持续TAP）在MNIST上的分类准确率与PCD相当，而CD-1则表现出明显更低的性能。
• 该方法通过将输入视为磁化强度，成功实现了对实值数据的RBMs训练，在缩放后的MNIST数据上分类准确率略高于其他方法。
• 三阶校正项（P-TAP3）相较于P-TAP2仅带来微小改进，表明二阶校正已捕获了该展开的大部分优势。
• 扩展平均场目标函数具有可解析性，能够可靠地监控训练过程，在可解释性与稳定性方面相比随机方法具有明显优势。
• 该方法在更具挑战性的Caltech 101 Silhouettes数据集上表现出鲁棒性，其确定性TAP训练性能至少与CD-1和PCD相当，表明其具备强大的泛化潜力。