[论文解读] Stein Variational Gradient Descent With Matrix-Valued Kernels

Dilin Wang, Ziyang Tang+2 more|PubMed|Oct 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 31被引用 41

一句话总结

本文通过使用矩阵值核将预条件信息（例如 Hessian、Fisher）并入 SVGD，并证明在贝叶斯推断性能方面有所提升。

ABSTRACT

Stein variational gradient descent (SVGD) is a particle-based inference algorithm that leverages gradient information for efficient approximate inference. In this work, we enhance SVGD by leveraging preconditioning matrices, such as the Hessian and Fisher information matrix, to incorporate geometric information into SVGD updates. We achieve this by presenting a generalization of SVGD that replaces the <i>scalar-valued</i> kernels in vanilla SVGD with more general <i>matrix-valued</i> kernels. This yields a significant extension of SVGD, and more importantly, allows us to flexibly incorporate various preconditioning matrices to accelerate the exploration in the probability landscape. Empirical results show that our method outperforms vanilla SVGD and a variety of baseline approaches over a range of real-world Bayesian inference tasks.

研究动机与目标

• 为利用预条件信息动机并发展一个利用预条件信息的 SVGD 泛化版本。
• 引入带矩阵值核的向量值 RKHS，以捕捉坐标相关性。
• 给出理论结果来指导矩阵值核的设计以及实际流程。
• 在真实世界的贝叶斯任务上展示相较于 vanilla SVGD 及基线方法的实证改进。

提出的方法

• 用矩阵值核代替标量核，以为 SVGD 构建向量值 RKHS。
• 推导矩阵值 RKHS 中的最优变换，给出一个封闭形式的更新，与 vanilla SVGD 相似（Equation 9）。
• 证明当核为 k(x,x')I 时，标准 SVGD 是一个特例；将其他变体也包含为特例。
• 引入实用的核设计：常数预条件、点级预条件，以及跨锚点的混合预条件。
• 解释矩阵值核如何与变换-变量预条件相关联，并给出指导（定理 3）。
• 给出矩阵 SVGD 的算法步骤（Algorithm 1），并讨论与 SVN 与 pSGLD 的联系。

实验结果

研究问题

• RQ1 如何通过矩阵值核扩展 SVGD 以融入预条件信息？
• RQ2 应如何设计矩阵值核以有效编码 Hessian 或 Fisher 信息？
• RQ3 在 SVGD 中使用矩阵值核的理论和实践含义是什么，包括变换-变量的视角？
• RQ4 矩阵值 SVGD 的变体是否在贝叶斯推断任务上优于 vanilla SVGD 和其他基线？
• RQ5 如何将这些方法扩展到实际模型，如贝叶斯神经网络和文本句子分类？

主要发现

• 矩阵值核将 SVGD 扩展到向量值 RKHS，使其能够融入预条件信息。
• 最优更新方向仍为封闭形式，推广了 SVGD 更新（Equation 9）。
• 常数预条件（例如 Hessian 或 Fisher 信息）在实验中比 vanilla SVGD 提高了收敛性。
• 跨锚点的混合预条件（例如以粒子作为锚点）在所报道的任务中获得最佳性能。
• 实证结果显示在贝叶斯逻辑回归、神经网络和句子分类任务上，相较于 vanilla SVGD 和基线有改进。