[论文解读] Oops I Took A Gradient: Scalable Sampling for Discrete Distributions

Will Grathwohl, Kevin Swersky+3 more|arXiv (Cornell University)|Feb 8, 2021

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 8

一句话总结

本文提出了一种名为Gibbs-With-Gradients的可扩展MCMC采样方法，用于离散分布，该方法利用未归一化对数密度函数的梯度信息来指导Metropolis-Hastings更新中的提议分布。通过利用离散变量连续松弛的梯度信息，该方法在高维模型（如伊辛模型、波茨模型以及离散数据上的深度能量模型）中实现了比标准Gibbs采样快几个数量级的混合速度，且在文本和图像任务中优于变分自编码器和基线能量模型。

ABSTRACT

We propose a general and scalable approximate sampling strategy for probabilistic models with discrete variables. Our approach uses gradients of the likelihood function with respect to its discrete inputs to propose updates in a Metropolis-Hastings sampler. We show empirically that this approach outperforms generic samplers in a number of difficult settings including Ising models, Potts models, restricted Boltzmann machines, and factorial hidden Markov models. We also demonstrate the use of our improved sampler for training deep energy-based models on high dimensional discrete data. This approach outperforms variational auto-encoders and existing energy-based models. Finally, we give bounds showing that our approach is near-optimal in the class of samplers which propose local updates.

研究动机与目标

• 为解决标准MCMC采样器（如Gibbs采样）在高维离散模型中效率低下问题，其中大多数单变量更新不会导致状态改变。
• 开发一种通用、可扩展的采样策略，利用离散分布的连续松弛中的梯度信息。
• 实现对高维离散数据（如文本和图像）上深度能量模型（EBMs）的有效训练，其中传统MCMC方法不可行。
• 证明梯度引导的提议分布可优于甚至超越利用硬编码块独立结构的采样器。
• 为离散分布提供一种计算高效且广泛适用的近似最优、局部信息采样框架。

提出的方法

• 提出一种Metropolis-Hastings采样器，利用相对于连续输入的未归一化对数密度函数的梯度，估算离散移动的似然比。
• 使用底层连续函数的泰勒级数近似，估算相邻离散状态间提议概率的比值。
• 将这些估算的似然比用于构建偏向于可能改变变量的提议分布，从而提高接受率。
• 将梯度引导的提议集成到Gibbs采样框架中，其中选择更新哪个变量由梯度大小决定，以优先选择更活跃的维度。
• 采用一种随机、自适应的索引提议分布，其中选择某个变量的概率与其梯度大小成正比，从而减少计算浪费。
• 在持久对比分歧（PCD）中应用该方法，用于在离散数据上训练深度能量模型，实现非自回归生成和灵活的条件控制。

实验结果

研究问题

• RQ1 来自离散分布连续松弛的梯度信息是否能提升高维离散模型中MCMC采样效率？
• RQ2 在具有复杂离散结构的模型中，梯度引导的提议分布是否优于标准Gibbs采样和其他通用采样器？
• RQ3 该方法是否能实现对高维离散数据（如文本和图像）上深度能量模型的有效训练？
• RQ4 所提出采样器在离散数据上的性能是否优于变分自编码器和现有能量模型？
• RQ5 该方法在离散分布的局部更新MCMC采样器中是否接近最优？

主要发现

• 在10,000个词表的语言模型中采样时，Gibbs-With-Gradients采样器的接受率超过70%，使其效率至少比标准Gibbs采样高3,500倍。
• 在MNIST数据集上，该方法在伊辛模型和波茨模型中显著优于通用采样器，表现出更快的混合速度和更好的收敛性。
• 在图像和文本数据上训练深度能量模型时，该方法实现了成功的非自回归生成，并优于变分自编码器和基线能量模型。
• 在缩短的Penn Treebank数据集上，该方法在测试集上达到-77.16的对数似然，优于均匀基线（-184.21）和类别基线（-100.05），并接近自回归LSTM模型（-74.0）的性能。
• 该方法在某些情况下优于利用硬编码块独立结构的采样器，表明梯度信息可弥补结构知识的缺失。
• 理论界 bounds 表明，该方法在仅提出局部更新的采样器类别中接近最优，验证了其高效性。