[论文解读] Stein Variational Gradient Descent: A General Purpose Bayesian Inference Algorithm

Qiang Liu, Dilin Wang|arXiv (Cornell University)|Aug 15, 2016

Gaussian Processes and Bayesian Inference参考文献 30被引用 280

一句话总结

一种通用的变分推理方法，通过在 RKHS 中的函数梯度下降将一组粒子运输到目标后验，将 KL 散度与 Stein 不一致性联系起来，以实现高效的贝叶斯推断。

ABSTRACT

We propose a general purpose variational inference algorithm that forms a natural counterpart of gradient descent for optimization. Our method iteratively transports a set of particles to match the target distribution, by applying a form of functional gradient descent that minimizes the KL divergence. Empirical studies are performed on various real world models and datasets, on which our method is competitive with existing state-of-the-art methods. The derivation of our method is based on a new theoretical result that connects the derivative of KL divergence under smooth transforms with Stein's identity and a recently proposed kernelized Stein discrepancy, which is of independent interest.

研究动机与目标

• 旨在创建一个通用、易于使用的变分推理工具，适用于广泛的模型和数据集的动机。
• 发展一种在完整贝叶斯推断中表现得像梯度下降的方法，使得在多个粒子下实现高效、可扩展的后验近似。
• 在光滑变换下 KL 散度导数与 Stein 不一致性之间提供一个有原理的联系，以推导出最优扰动方向。
• 提供一个实用、可实现的算法，不需要显式的参数变换形式或雅可比矩阵计算。

提出的方法

• 引入一个由应用于可处理基分布的平滑、可逆变换组成的变分族。
• 推导出对小的变换扰动的 KL 散度导数等于对扰动应用的 Stein 算子。
• 使用核化 Stein 不一致性在 RKHS 中获得闭式的最优扰动方向，从而实现实用的更新规则。
• 开发一个迭代的粒子基算法，其中粒子通过 x <- x + epsilon * phi*(x) 更新，phi*(x) 由所有粒子通过核和分数梯度计算得到。
• 展示 Algorithm 1，通过对数密度梯度和核梯度的加权和来更新每个粒子，使粒子朝向目标 p。
• 讨论计算方面的考虑，包括对大数据集的小批量处理和核矩阵运算，并提出提高效率和可扩展性的策略。

实验结果

研究问题

• RQ1 是否能够开发出一种通用、类似梯度下降的变分推理算法，能够扩展到大规模数据集和复杂模型？
• RQ2 如何通过使用 Stein 恒等式和核化 Stein 不一致性，用平滑数据变换将 KL 散度最小化落地？
• RQ3 基于粒子的、排斥性但收敛的方案是否能在保持样本多样性的同时提供准确的后验近似？
• RQ4 该方法是否可以在单个粒子时简化为 MAP，并推广到具有多个粒子的完整贝叶斯推断？

主要发现

• Stein 算子将光滑变换下的 KL 散度导数与 kernelized Stein 不一致性（KSD）联系起来，从而实现闭式的最优扰动方向。
• 一种迭代过程通过在 RKHS 中的方向对基分布进行重复的平滑变换，将其传输到目标后验，实现 KL 下降。
• 所提出的 SVGD 算法在一个粒子时简化为 MAP 推断，并推广到具有多个粒子的全贝叶斯推断，同时维持排斥力以防止塌缩。
• 实证结果在诸如贝叶斯逻辑回归和贝叶斯神经网络等任务上，与最先进基线相比具有竞争力，在准确性和效率方面取得有利比较。