[论文解读] On Sparse variational methods and the Kullback-Leibler divergence between stochastic processes

Alexander Matthews, James Hensman+2 more|arXiv (Cornell University)|Apr 27, 2015

Gaussian Processes and Bayesian Inference参考文献 13被引用 4

一句话总结

本文通过证明标准的诱导点方法最小化了两个随机过程之间明确定义的Kullback-Leibler散度，为稀疏变分高斯过程建立了严格的测度论基础。该工作将先前的研究推广至非数据诱导点、非共轭似然以及无限维模型（如Cox过程）的情形，同时证明了仅边际一致性不足以保证有效的变分推断，除非满足额外条件（如对完整函数的确定性条件）。

ABSTRACT

The variational framework for learning inducing variables (Titsias, 2009a) has had a large impact on the Gaussian process literature. The framework may be interpreted as minimizing a rigorously defined Kullback-Leibler divergence between the approximating and posterior processes. To our knowledge this connection has thus far gone unremarked in the literature. In this paper we give a substantial generalization of the literature on this topic. We give a new proof of the result for infinite index sets which allows inducing points that are not data points and likelihoods that depend on all function values. We then discuss augmented index sets and show that, contrary to previous works, marginal consistency of augmentation is not enough to guarantee consistency of variational inference with the original model. We then characterize an extra condition where such a guarantee is obtainable. Finally we show how our framework sheds light on interdomain sparse approximations and sparse approximations for Cox processes.

研究动机与目标

• 澄清高斯过程中变分诱导点框架的理论依据，该方法虽被广泛使用，但缺乏严格的概率基础。
• 通过在稀疏变分推断背景下明确定义随机过程之间的Kullback-Leibler散度，弥补文献中的空白。
• 研究在模型扩展中引入辅助变量进行近似时，边际一致性是否足以确保有效的变分推断。
• 将该框架扩展至非共轭似然和无限维模型（如Cox过程），其中似然依赖于所有函数值。
• 为变分目标提供有原则的推导，以证明将诱导点位置作为变分参数进行优化而不会过拟合。

提出的方法

• 将标准的稀疏变分推断目标重新表述为近似后验过程与真实后验过程之间在函数值上的严格Kullback-Leibler散度。
• 使用Radon-Nikodym导数在无限维函数空间中定义KL散度，避免依赖Lebesgue测度。
• 将原始的Titsias（2009）框架推广，以允许非数据点作为诱导点，并处理依赖于整个函数而非仅观测点的似然。
• 应用Fubini定理，以证明在KL散度表达式中交换期望与积分的合理性，尤其适用于Cox过程似然。
• 引入一个条件，使得在扩展模型中的变分推断等价于原始模型中的推断：即当诱导点是完整函数的确定性函数时。
• 通过确保适当的测度论基础，证明了跨域稀疏近似和Cox过程模型可在此框架中一致处理。

实验结果

研究问题

• RQ1 在高斯过程的稀疏变分推断中，标准目标是否等价于最小化两个随机过程之间明确定义的Kullback-Leibler散度？
• RQ2 当诱导点不是数据点且似然依赖于未观测的函数值时，能否对变分诱导点框架进行严格理论证明？
• RQ3 模型扩展中的边际一致性是否足以保证扩展模型中的变分推断等价于原始模型中的推断？
• RQ4 为确保扩展模型中变分推断具有原则性并一致于原始模型，还需哪些额外条件？
• RQ5 如何将该框架扩展以处理非共轭似然和点过程模型（如Cox过程）？

主要发现

• 标准的稀疏变分推断目标在数学上严格等价于最小化近似后验过程与真实后验过程之间在函数值上的Kullback-Leibler散度。
• 通过使用Radon-Nikodym导数和测度论基础，该框架可推广至非数据诱导点以及依赖于所有函数值的似然（如Cox过程）。
• 模型扩展的边际一致性不足以保证有效的变分推断；必须引入更强的条件——即诱导点对完整函数的确定性条件。
• 当诱导点是完整函数的确定性函数时，变分目标具有原则性，且诱导点参数可免于过拟合。
• 该理论正确处理了跨域稀疏近似和Cox过程，确保KL散度定义良好且证据下界有效。
• 研究结果为将稀疏变分方法推广至复杂模型（包括具有无限维似然的模型）提供了坚实的理论基础，并提示了涉及希尔伯特空间理论的新研究方向。