[论文解读] Stein Points

Wilson Ye Chen, Lester Mackey+3 more|arXiv (Cornell University)|Mar 27, 2018

Markov Chains and Monte Carlo Methods参考文献 6被引用 20

一句话总结

本文提出 Stein Points，一种确定性方法，通过使用贪心或条件梯度优化最小化核 Stein 散度，选择代表性点以近似后验分布 $p(x)$。该方法在 $n$ 较小时实现高精度的后验近似，并提供理论收敛保证。

ABSTRACT

An important task in computational statistics and machine learning is to approximate a posterior distribution $p(x)$ with an empirical measure supported on a set of representative points $\{x_i\}_{i=1}^n$. This paper focuses on methods where the selection of points is essentially deterministic, with an emphasis on achieving accurate approximation when $n$ is small. To this end, we present `Stein Points'. The idea is to exploit either a greedy or a conditional gradient method to iteratively minimise a kernel Stein discrepancy between the empirical measure and $p(x)$. Our empirical results demonstrate that Stein Points enable accurate approximation of the posterior at modest computational cost. In addition, theoretical results are provided to establish convergence of the method.

研究动机与目标

• 开发一种确定性方法，用于选择代表性点，以准确近似后验分布 $p(x)$。
• 通过迭代优化最小化经验测度与 $p(x)$ 之间的核 Stein 散度。
• 在点数 $n$ 较小时实现高精度的后验近似。
• 为所提出的方法提供理论收敛保证。

提出的方法

• 该方法使用贪心或条件梯度算法，迭代选择能最小化核 Stein 散度的点。
• 它利用核 Stein 散度度量来量化经验测度与目标后验 $p(x)$ 之间的差异。
• 选择过程是确定性的，避免了随机采样，同时保持了精度。
• 核 Stein 散度通过带有平滑核函数的再生核希尔伯特空间（RKHS）框架计算。
• 该算法确保每个新点都能改善散度，从而实现收敛。
• 该方法即使在 $n$ 适中时也具有计算效率。

实验结果

研究问题

• RQ1 如何选择一组少量的确定性点，以准确表示复杂的后验分布？
• RQ2 能否通过贪心或条件梯度优化有效最小化核 Stein 散度，以实现后验近似？
• RQ3 此类点选择方法的收敛性可建立何种理论保证？
• RQ4 与随机方法相比，该确定性方法在精度和计算成本方面的性能如何？

主要发现

• 所提出的 Stein Points 方法在点数较少时实现了高精度的后验近似，其精度优于随机替代方法，尤其在 $n$ 较小时表现更优。
• 在温和正则性条件下，随着点数增加，核 Stein 散度收敛于零。
• 实验结果表明，该方法在适中的计算成本下保持了高精度，适用于实际的贝叶斯推断。
• 理论分析证实了迭代点选择过程的收敛性，支持其可靠性。