[论文解读] Optimally-Weighted Herding is Bayesian Quadrature

Ferenc Huszár, David Duvenaud|arXiv (Cornell University)|Apr 7, 2012

Gaussian Processes and Bayesian Inference被引用 12

一句话总结

本文证明了核聚集（kernel herding）最小化与贝叶斯积分法（BQ）相同的优化目标，揭示了BQ是带有最优权重的聚集方法。通过使用BQ推导出的权重替代均匀权重，顺序贝叶斯积分法（SBQ）实现了快于O(1/N)的收敛速度，在积分估计精度上优于标准聚集法和i.i.d.采样。

ABSTRACT

Herding and kernel herding are deterministic methods of choosing samples which summarise a probability distribution. A related task is choosing samples for estimating integrals using Bayesian quadrature. We show that the criterion minimised when selecting samples in kernel herding is equivalent to the posterior variance in Bayesian quadrature. We then show that sequential Bayesian quadrature can be viewed as a weighted version of kernel herding which achieves performance superior to any other weighted herding method. We demonstrate empirically a rate of convergence faster than O(1/N). Our results also imply an upper bound on the empirical error of the Bayesian quadrature estimate.

研究动机与目标

• 建立核聚集与贝叶斯积分法（BQ）在确定性积分估计背景下的理论联系。
• 证明在高斯过程先验下，核聚集中使用的最大均值差异（MMD）准则与BQ中的后验方差等价。
• 证明BQ权重在再生希尔伯特空间（RKHS）函数类上以极小化最大误差意义下最优，使BQ优于均匀加权的聚集法。
• 提出并分析顺序贝叶斯积分法（SBQ），一种基于BQ权重的贪心采样方法，并证明其具有更优的收敛速率。
• 提供理论与实证证据，证明SBQ在收敛速度上优于标准聚集法和i.i.d.采样。

提出的方法

• 本文证明了核聚集中使用的MMD准则在数学上等价于高斯过程先验下贝叶斯积分法的后验方差。
• 将贝叶斯积分法形式化为一种加权聚集方法，其中权重由高斯过程模型的后验均值得出，从而在RKHS上以极小化最大误差意义下实现最优性能。
• 证明SBQ中最小化的目标函数近似具有子模性，从而为贪心前向选择算法提供理论保证。
• 提出顺序贝叶斯积分法（SBQ），一种贪心算法，通过最小化与BQ权重的MMD来逐次选择样本。
• 利用Woodbury恒等式高效更新BQ权重，当添加新样本时仍保持O(N³)的复杂度（N个样本）。
• 在从高斯过程先验中抽取的函数上，对i.i.d.采样、标准聚集法和SBQ进行实证比较，测量其在积分估计中的收敛速率。

实验结果

研究问题

• RQ1 在高斯过程先验下，核聚集中使用的MMD准则是否与贝叶斯积分法中的后验方差等价？
• RQ2 贝叶斯积分法能否被解释为核聚集的一种加权形式，且其权重是否在极小化最大误差意义下最优？
• RQ3 在核聚集中使用BQ权重是否能带来快于均匀加权的收敛速度？
• RQ4 SBQ的目标函数是否可被证明近似具有子模性，从而为贪心选择提供性能保证？
• RQ5 SBQ相较于标准聚集法和i.i.d.采样的实证收敛速率如何？

主要发现

• 在高斯过程先验下，核聚集中最小化的MMD准则在数学上等价于贝叶斯积分法中的后验方差。
• 贝叶斯积分法等价于核聚集的一种加权形式，且BQ权重在RKHS上以极小化最大误差意义下最优。
• 使用BQ权重的顺序贝叶斯积分法（SBQ）实现了快于O(1/N)的收敛速率，优于标准聚集法和i.i.d.采样。
• SBQ中最小化的目标函数近似具有子模性，为贪心前向选择算法的性能提供了理论依据。
• 实证结果表明，即使样本数更少，使用BQ权重的SBQ在经验误差上也低于使用均匀权重的聚集法。
• 本文推导了贝叶斯积分估计经验误差的上界，该上界基于MMD等价性得出。