[论文解读] On the mapping between Hopfield networks and Restricted Boltzmann Machines

Matthew Smart, Anton Zilman|arXiv (Cornell University)|Jan 27, 2021

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 4

一句话总结

本文提出了一种从具有相关二值模式的霍普菲尔德网络（HNs）到具有二值可见单元和高斯隐藏单元的受限玻尔兹曼机（RBMs）的精确映射，实现了将HN权重直接转换为RBM权重初始化。该方法显著提升了训练效率，即使经过极少训练，霍普菲尔德网络初始化的RBMs在MNIST数据上也优于随机初始化的模型。

ABSTRACT

Hopfield networks (HNs) and Restricted Boltzmann Machines (RBMs) are two important models at the interface of statistical physics, machine learning, and neuroscience. Recently, there has been interest in the relationship between HNs and RBMs, due to their similarity under the statistical mechanics formalism. An exact mapping between HNs and RBMs has been previously noted for the special case of orthogonal (uncorrelated) encoded patterns. We present here an exact mapping in the case of correlated pattern HNs, which are more broadly applicable to existing datasets. Specifically, we show that any HN with $N$ binary variables and $p<N$ arbitrary binary patterns can be transformed into an RBM with $N$ binary visible variables and $p$ gaussian hidden variables. We outline the conditions under which the reverse mapping exists, and conduct experiments on the MNIST dataset which suggest the mapping provides a useful initialization to the RBM weights. We discuss extensions, the potential importance of this correspondence for the training of RBMs, and for understanding the performance of deep architectures which utilize RBMs.

研究动机与目标

• 建立任意（相关）二值模式下霍普菲尔德网络与RBMs之间的精确对应关系，扩展先前仅限于正交模式的研究。
• 通过利用HN衍生的权重初始化，实现RBMs训练的实际改进。
• 表征从RBMs反向映射回HNs的方法，并在精确反向映射不可行时提供基于矩阵分解的近似重构方法。
• 展示该映射在减少训练时间与模型规模的同时，维持或提升生成与分类任务性能的实用性。

提出的方法

• 本文推导出从具有$N$个二值单元和$p < N$个任意二值模式的霍普菲尔德网络，到具有$N$个二值可见单元和$p$个高斯隐藏单元的RBMs的精确变换。
• 该映射使用投影规则$\mathbf{J} = \bm{\xi}(\bm{\xi}^T\bm{\xi})^{-1}\bm{\xi}^T$定义HN的哈密顿量，随后将其重述为等价的RBM能量函数。
• RBM的构建方式使其权重矩阵对应于HN的相互作用矩阵，其中可见单元代表HN的自旋，隐藏单元代表模式投影。
• 通过矩阵分解分析反向映射，推导出可从RBMs重构HN的条件。
• 该方法可通过RBM表示对自旋进行求和，实现HN配分函数的高效计算。
• 实验使用MNIST数据验证初始化效果：将HN权重正交化后用于初始化RBM权重，随后在生成与分类任务上进行训练与评估。

实验结果

研究问题

• RQ1 能否为任意（非正交）二值模式建立霍普菲尔德网络与RBMs之间的精确映射，从而超越未相关模式的特殊情况？
• RQ2 从RBMs反向映射到HNs的条件是什么？当精确重构失败时，如何进行近似？
• RQ3 与随机初始化或其他启发式初始化相比，HN到RBM的映射是否能为RBMs训练提供更优的初始化？
• RQ4 基于HN的初始化如何影响真实世界数据集（如MNIST）上的训练效率与模型性能？
• RQ5 该对应关系是否能提升基于RBMs构建的深度架构（如深度信念网络或深度玻尔兹曼机）的性能？

主要发现

• HN到RBM的映射可将任意具有$N$个二值单元和$p < N$个任意二值模式的霍普菲尔德网络，精确转换为具有$N$个二值可见单元和$p$个高斯隐藏单元的RBMs。
• 从RBMs反向映射回HNs仅在特定条件下可行，当精确重构失败时，使用矩阵分解构造近似HN。
• 在MNIST数据集上，经过正交化处理的HN权重初始化的RBMs在仅训练1个周期后，使用$k=100$个隐藏单元即可实现$3.0\%$的训练误差，优于随机初始化模型在50个周期后的表现。
• 即使仅使用$k=10$个隐藏单元，HN初始化的PoE模型在每个训练周期的表现均与使用$k=100$个隐藏单元的随机初始化PoE模型相当或更优。
• 使用$k=100$个隐藏单元的HN初始化RBMs在未进行任何训练的情况下即达到$4.4\%$的测试误差，优于经过50个周期训练的$k=100$随机初始化RBMs。
• 基于HN的初始化可实现更快收敛与更优性能，适用于生成建模与分类任务，使更小的模型能够匹配或超越更大、训练时间更长的模型。