[论文解读] Wasserstein Training of Boltzmann Machines

Grégoire Montavon, Klaus‐Robert Müller+1 more|arXiv (Cornell University)|Jul 7, 2015

Generative Adversarial Networks and Image Synthesis参考文献 12被引用 13

一句话总结

本文通过最小化数据分布与模型分布之间的Wasserstein距离，为Boltzmann机引入了Wasserstein训练方法，利用观测值之间的有意义度量。该方法生成的生成模型具有类似聚类的结构，在数据补全和去噪任务中表现优于标准RBMs，更好地捕捉了几何结构，尤其在降低方差的同时增加了偏差。

ABSTRACT

The Boltzmann machine provides a useful framework to learn highly complex, multimodal and multiscale data distributions that occur in the real world. The default method to learn its parameters consists of minimizing the Kullback-Leibler (KL) divergence from training samples to the Boltzmann model. We propose in this work a novel approach for Boltzmann training which assumes that a meaningful metric between observations is given. This metric can be represented by the Wasserstein distance between distributions, for which we derive a gradient with respect to the model parameters. Minimization of this new Wasserstein objective leads to generative models that are better when considering the metric and that have a cluster-like structure. We demonstrate the practical potential of these models for data completion and denoising, for which the metric between observations plays a crucial role.

研究动机与目标

• 开发一种新的Boltzmann机训练目标，将数据点之间的有意义度量纳入考虑，超越传统的KL散度。
• 证明基于Wasserstein的训练可生成具有更结构化、类似聚类的数据表示的生成模型。
• 评估Wasserstein训练的RBMs在补全和去噪任务中的性能，其中基于度量的重建误差至关重要。
• 提供一种实用且可扩展的方法，用于计算Boltzmann机中模型参数的Wasserstein距离梯度。

提出的方法

• 该方法通过使用Wasserstein距离的平滑、可微分近似，最小化经验数据分布与模型分布之间的Wasserstein距离。
• 通过Wasserstein距离的对偶公式推导出Wasserstein目标函数对模型参数的梯度，从而支持反向传播。
• 利用Wasserstein距离及其导数的快速近似方法计算梯度，使模型可扩展至数万个数据点。
• 模型使用自由能函数 $ F_{\theta}(\boldsymbol{x}) $ 参数化RBMs的分布 $ p_{\theta}(\boldsymbol{x}) = \frac{1}{Z_{\theta}} e^{-F_{\theta}(\boldsymbol{x})} $，并通过随机梯度下降优化参数。
• 该方法利用Wasserstein距离考虑数据点之间几何邻近性的特点，使重建结果系统性地指向最近的聚类。

实验结果

研究问题

• RQ1 最小化数据分布与模型分布之间的Wasserstein距离，是否能生成比标准KL基训练更优的Boltzmann机生成模型？
• RQ2 Wasserstein目标如何影响所学模型的结构特性，特别是聚类形成方面？
• RQ3 Wasserstein训练是否能提升在基于度量的重建误差至关重要的数据补全和去噪任务中的性能？
• RQ4 与标准RBMs相比，Wasserstein训练的RBMs在这些任务中的偏差-方差权衡如何？

主要发现

• Wasserstein RBM学习到的模型具有类似聚类的结构，对分布外输入的重建结果系统性地指向最近的聚类，从而降低了方差。
• 在MNIST和PLANTS数据集上，Wasserstein RBM在补全和去噪任务中的期望汉明误差低于标准RBMs和核密度估计。
• Wasserstein RBM的期望汉明误差中偏差分量更大，表明重建结果系统性地指向典型样本，而方差显著降低。
• 通过使用Wasserstein距离及其梯度的快速近似方法，该方法成功扩展至数万个观测样本。
• Wasserstein目标导致与KL散度截然不同的优化景观，所学习的模型对精确数据点匹配不那么敏感，但更符合几何结构。