[论文解读] Understanding and Accelerating Particle-Based Variational Inference

Chang Liu, Jingwei Zhuo+4 more|arXiv (Cornell University)|Jul 4, 2018

Neural Networks and Applications被引用 43

一句话总结

本文从沃斯特斯坦几何视角研究基于粒子的方法变分推断（ParVI），揭示平滑性作为统一的机制，并引入加速框架及原则性的带宽选择以提高收敛性和样本准确性。

ABSTRACT

Particle-based variational inference methods (ParVIs) have gained attention in the Bayesian inference literature, for their capacity to yield flexible and accurate approximations. We explore ParVIs from the perspective of Wasserstein gradient flows, and make both theoretical and practical contributions. We unify various finite-particle approximations that existing ParVIs use, and recognize that the approximation is essentially a compulsory smoothing treatment, in either of two equivalent forms. This novel understanding reveals the assumptions and relations of existing ParVIs, and also inspires new ParVIs. We propose an acceleration framework and a principled bandwidth-selection method for general ParVIs; these are based on the developed theory and leverage the geometry of the Wasserstein space. Experimental results show the improved convergence by the acceleration framework and enhanced sample accuracy by the bandwidth-selection method.

研究动机与目标

• 在沃斯特斯坦空间框架下统一并分析用于 ParVI 的有限粒子近似。
• 揭示 ParVI 背后的平滑性（密度平滑或函数平滑），并建立它们的等价性。
• 开发利用沃斯特斯坦空间黎曼几何来改进收敛性的 ParVI 加速框架。
• 提出一种原理性核平滑带宽选择方法，以提升样本质量。
• 构思基于平滑视角的新型 ParVI，并在实验中展示性能提升。

提出的方法

• 将 ParVI 模型为在沃斯特斯坦空间 P2(X) 上的梯度流，并将其与 SVGD 作为真实梯度流投影的联系推导出来。
• 表明现有的 ParVI 仅对密度或函数进行平滑，并证明这两种平滑视角之间的等价性。
• 引入两种新的 ParVIs：GFSD（带平滑密度的梯度流）和 GFSF（带平滑测试函数的梯度流）。
• 基于 P2(X) 的黎曼加速开发一个加速框架（Wasserstein Accelerated Gradient，WAG；以及 Wasserstein Nesterov’s method，WNes），并提供实用的粒子基更新。
• 使用成对接近的粒子集合，描述在 P2(X) 上的指数映射、反指数映射和平行传输的实际近似，以实现加速。
• 提出一个受热方程引导的原理性核带宽选择方法，使密度演化与 ParVI 中的平滑保持一致。

实验结果

研究问题

• RQ1 ParVI 如何在沃斯坦空间的梯度流视角下实现统一？
• RQ2 有 finite-particle ParVI 中平滑的根本作用是什么，以及平滑密度和平滑函数的方法之间的关系？
• RQ3 在沃斯坦流形上的加速技术是否能够在实践中改善 ParVI 的收敛性？
• RQ4 如何从原理上选择核带宽以优化 ParVI 中的平滑与样本质量？
• RQ5 从平滑概念推导的新 ParVI 是否在实践中优于现有方法？

主要发现

• SVGD 可以被解释为通过投影到向量值 RKHS，近似在 P2(X) 上的沃斯坦梯度流，从而将 SVGD 与真实梯度流联系起来。
• 所有 ParVI 天生执行平滑（密度平滑或函数平滑）以模拟梯度流，而这两种平滑视角通过密度-函数置换而等价。
• 新的 ParVI GFSD 与 GFSF 由平滑原则构建，拓展了 ParVI 的家族，超越了现有方法。
• 基于 P2(X) 的黎曼几何的加速框架（WAG 和 WNes）可以通过利用逆指数映射和平行传输等来提高 ParVI 的收敛性。
• 基于热方程的原理性核带宽选择方法使密度演化与平滑保持一致，在样本质量方面优于启发式带宽。
• 实验结果表明，加速框架可改善收敛性，原理性带宽方法可提升样本准确性。