[论文解读] Stochastic Stein Discrepancies

Jackson Gorham, Anant Raj+1 more|arXiv (Cornell University)|Jul 6, 2020

Markov Chains and Monte Carlo Methods参考文献 37被引用 7

一句话总结

本文提出了随机 Stein 散度（SSDs），这是一种计算效率更高的标准 Stein 散度的替代方法，通过使用 Stein 算子的子采样近似来实现。SSDs 在概率为 1 的条件下保持了与标准 SD 相同的收敛控制特性，从而在偏差 MCMC 调优、采样器选择和随机 SVGD 等应用中，显著减少了似然评估次数——最多达数量级的减少——同时保持了相近的推理质量。

ABSTRACT

Stein discrepancies (SDs) monitor convergence and non-convergence in approximate inference when exact integration and sampling are intractable. However, the computation of a Stein discrepancy can be prohibitive if the Stein operator - often a sum over likelihood terms or potentials - is expensive to evaluate. To address this deficiency, we show that stochastic Stein discrepancies (SSDs) based on subsampled approximations of the Stein operator inherit the convergence control properties of standard SDs with probability 1. Along the way, we establish the convergence of Stein variational gradient descent (SVGD) on unbounded domains, resolving an open question of Liu (2017). In our experiments with biased Markov chain Monte Carlo (MCMC) hyperparameter tuning, approximate MCMC sampler selection, and stochastic SVGD, SSDs deliver comparable inferences to standard SDs with orders of magnitude fewer likelihood evaluations.

研究动机与目标

• 解决当 Stein 算子涉及昂贵的似然项或势函数时，标准 Stein 散度计算成本过高的问题。
• 通过子采样 Stein 算子，在不牺牲理论保证的前提下，实现近似推理中可扩展的收敛监控。
• 解决关于 unbounded 域上 Stein 变分梯度下降（SVGD）收敛性的开放问题。
• 为实际的贝叶斯推理和 MCMC 应用提供一种实用且可扩展的标准 Stein 散度替代方案。
• 证明 SSD 在推理质量上可与标准 SD 相媲美，同时将计算成本降低数量级。

提出的方法

• 提出 SSD 作为标准 Stein 散度的子采样子近似，其中 Stein 算子通过随机选取的似然项或势函数子集来估计。
• 理论分析表明，即使 Stein 算子以随机方式近似，SSD 仍继承了标准 SD 的几乎必然收敛控制特性。
• 利用指数族模型和一般统计模型中 Stein 算子的结构，实现高效的子采样。
• 将 SSD 应用于监控随机 SVGD 和偏差 MCMC 方法中的收敛性，这些方法中完整似然评估成本过高。
• 通过将理论框架扩展至处理非紧致状态空间，证明了在 unbounded 域上 SVGD 的几乎必然收敛性。
• 在实践中利用经验风险最小化原则来优化散度，从而在大规模场景中实现高效实现。

实验结果

研究问题

• RQ1 对 Stein 算子的子采样子近似是否能保持标准 Stein 散度的收敛监控特性？
• RQ2 在存在子采样噪声的情况下，随机 Stein 散度是否仍能保持几乎必然收敛控制？
• RQ3 SSDs 是否能在如随机 SVGD 和偏差 MCMC 等可扩展推理方法中有效应用？
• RQ4 SVGD 在 unbounded 域上的理论收敛行为如何？是否能被严格建立？
• RQ5 在实践中，SSDs 与标准 SD 在推理质量和计算效率方面相比如何？

主要发现

• 即使 Stein 算子通过子采样近似，随机 Stein 散度（SSDs）仍保持与标准 Stein 散度相同的几乎必然收敛控制特性。
• 在偏差 MCMC、采样器选择和随机 SVGD 的实验中，SSDs 实现了与标准 SD 相当的推理质量，同时将似然评估次数减少了数量级。
• 本文通过证明 unbounded 域上 Stein 变分梯度下降（SVGD）的几乎必然收敛性，解决了一个开放问题。
• 实验结果表明，SSDs 能可靠检测非收敛状态，并在完整似然计算不可行的可扩展推理流水线中有效监控收敛进度。
• SSD 的理论框架确保了在子采样条件下，收敛监控在概率为 1 的条件下依然有效，使其在实际部署中具有鲁棒性。
• SSDs 通过提供一种可扩展且可靠的散度度量，实现了近似 MCMC 中高效超参数调优和采样器选择。