[论文解读] Super-Samples from Kernel Herding

Yutian Chen, Max Welling+1 more|arXiv (Cornell University)|Mar 15, 2012

Gaussian Processes and Bayesian Inference参考文献 7被引用 34

一句话总结

本文提出核矩陣采样（kernel herding），一种基于核技巧将传统确定性采样算法扩展至连续空间的确定性采样方法。该方法在近似概率密度函数时达到 O(1/T) 的收敛速率，显著快于独立同分布采样方法的 O(1/√T) 速率，并在近似贝叶斯预测分布方面表现出优越性能。

ABSTRACT

We extend the herding algorithm to continuous spaces by using the kernel trick. The resulting "kernel herding" algorithm is an infinite memory deterministic process that learns to approximate a PDF with a collection of samples. We show that kernel herding decreases the error of expectations of functions in the Hilbert space at a rate O(1/T) which is much faster than the usual O(1/pT) for iid random samples. We illustrate kernel herding by approximating Bayesian predictive distributions.

研究动机与目标

• 解决传统随机采样方法在近似复杂概率分布时收敛速度慢的局限性。
• 开发一种在连续空间中保持低差异性和高采样效率的确定性采样策略。
• 利用固定且少量的样本集合，实现对贝叶斯预测分布的高精度近似。
• 对基于核的采样方法在再生核希尔伯特空间中的收敛速率进行理论分析。
• 提供一种无需依赖蒙特卡洛采样的可扩展且实用的贝叶斯推断算法。

提出的方法

• 利用核技巧将样本映射至再生核希尔伯特空间（RKHS），实现连续空间中的采样。
• 应用一种贪心选择规则，以最小化经验测度与目标分布之间在 RKHS 中的差异。
• 通过最大化差异函数梯度在核加权投影上的值，迭代选择样本。
• 维护一个累积样本集合，使其整体对目标概率密度函数的近似误差持续减小。
• 利用表示定理，将最优样本集合表示为在选定点处计算的核函数的线性组合。
• 确保算法内存效率高且完全确定，避免随机方法固有的方差。

实验结果

研究问题

• RQ1 确定性采样方法是否能在近似概率密度下函数期望时，实现快于独立同分布蒙特卡洛采样的收敛速度？
• RQ2 如何利用核方法将矩阵采样算法从离散域扩展至连续域？
• RQ3 在样本数 T 的意义上，核矩陣采样算法的理论收敛速率是多少？
• RQ4 核矩陣采样是否能以少于标准蒙特卡洛方法的样本数，有效近似贝叶斯预测分布？
• RQ5 核函数的选择如何影响 RKHS 中样本集合的质量与收敛性？

主要发现

• 核矩陣采样在 RKHS 中估计函数期望的误差达到 O(1/T) 的收敛速率，显著快于独立同分布采样的 O(1/√T) 速率。
• 该算法生成的样本序列系统性地减少了经验测度与目标分布之间的差异。
• 实验结果表明，核矩陣采样在使用更少样本的情况下，优于标准蒙特卡洛采样对贝叶斯预测分布的近似效果。
• 该方法对不同核函数选择具有鲁棒性，在小样本集合下仍能保持低差异。
• 理论分析证实，误差以 O(1/T) 的速率衰减，这是该设定下确定性采样的最优速率。
• 该算法在实际贝叶斯推断任务中具有可扩展性和实用性，尤其适用于对采样效率要求较高的场景。