[论文解读] Relaxations for inference in restricted Boltzmann machines

Sida I. Wang, Roy Frostig+2 more|arXiv (Cornell University)|Dec 21, 2013

Machine Learning and Algorithms参考文献 7被引用 3

一句话总结

本文提出了一种用于受限玻尔兹曼机（RBMs）近似最大后验概率（MAP）推理的随机化松弛-取整算法，采用低秩半定松弛（LRP_k）以平衡效率与精度。该方法在逃离局部最优解方面优于退火吉布斯采样，并通过重要性采样实现了有效的对数配分函数估计，实证结果表明其在MNIST和合成RBMs上的性能具有竞争力。

ABSTRACT

We propose a relaxation-based approximate inference algorithm that samples near-MAP configurations of a binary pairwise Markov random field. We experiment on MAP inference tasks in several restricted Boltzmann machines. We also use our underlying sampler to estimate the log-partition function of restricted Boltzmann machines and compare against other sampling-based methods.

研究动机与目标

• 开发一种可扩展且精确的受限玻尔兹曼机（RBMs）推理方法，避免吉布斯采样中常见的局部最优问题。
• 通过引入可调宽度k的低秩松弛（LRP_k），弥合凸松弛（如SDP）与非凸QP之间的差距。
• 利用所提出的采样器作为提议分布，实现RBMs中对数配分函数的高效估计。
• 在真实世界和合成RBMs基准上评估该方法，与退火吉布斯采样和重要性采样进行比较。

提出的方法

• 该方法使用低秩半定松弛（LRP_k），其中优化问题被表述为在每个行i满足||X_i||_2 ≤ 1的约束下，最大化tr(X^T A X)。
• 采用随机取整：从单位球面中随机抽取一个向量g，最终的二值配置通过x_i = sign(X_i^T g)获得。
• 算法以LRP_2（k=2）初始化，并使用投影梯度下降法寻找局部最优解X。
• 对于对数配分函数估计，采用重要性采样，以rrr-MAP采样器作为提议分布，通过10,000次采样计算Z(A) ≈ E[exp(x^T A x)/p_X(x)]。
• 在对X的行向量按角度排序的O(n log n)预处理后，p_X(x)可在O(n)时间内高效计算。
• 该方法同时应用于MAP推理与对数配分函数估计，并与MNIST和合成RBMs上的退火吉布斯采样及AIS进行比较。

实验结果

研究问题

• RQ1 低秩松弛（LRP_k）是否能在RBMs的MAP推理中，提供比完整SDP或QP松弛更优的计算效率与解质量之间的权衡？
• RQ2 对LRP_k解进行随机取整是否能产生接近MAP的配置，且在逃离局部最优解方面优于退火吉布斯采样？
• RQ3 rrr-MAP采样器能否作为重要性采样中有效的提议分布，以估计RBMs的对数配分函数？
• RQ4 rrr-MAP方法的性能如何随RBMs规模增大及宽度k提升而变化？

主要发现

• 在MNIST数据集上，rrr-MAP采样器的对数配分函数估计值为438.40，优于AIS（436.37）和rrr-low（436.69）。
• 对于一个小规模RBMs（Random-S），rrr-IS估计的log Z为5092.4，接近真实值5127.6，表明在小规模实例上具有高精度。
• rrr-MAP采样器生成的log Z下界（rrr-low）为436.69，优于AIS估计的436.37，表明采样质量更高。
• 该方法成功初始化了局部搜索算法，其结果优于单独使用rrr-MAP或局部搜索。
• 尽管计算简单，rrr-MAP采样器仍能产生具有竞争力的对数配分函数估计值，但重要性采样性能受限于低k设置下的稀疏支持。
• 在大规模RBMs上，rrr-MAP算法显著快于Gurobi，即使在10倍时间限制下，其解质量仍优于Gurobi。