[论文解读] Nonparametric Bayesian Density Modeling with Gaussian Processes

Ryan P. Adams, Iain Murray+1 more|ArXiv.org|Dec 24, 2009

Bayesian Methods and Mixture Models参考文献 47被引用 7

一句话总结

本文提出了高斯过程密度采样器（GPDS），一种非参数贝叶斯方法，通过在潜在函数上使用高斯过程先验，并结合基密度和有界函数 Φ 的变换，生成有效的概率密度函数。该方法支持无需有限维近似的精确可交换数据采样与后验推断，实现对密度函数及其超参数的完整贝叶斯推断。

ABSTRACT

We present the Gaussian process density sampler (GPDS), an exchangeable generative model for use in nonparametric Bayesian density estimation. Samples drawn from the GPDS are consistent with exact, independent samples from a distribution defined by a density that is a transformation of a function drawn from a Gaussian process prior. Our formulation allows us to infer an unknown density from data using Markov chain Monte Carlo, which gives samples from the posterior distribution over density functions and from the predictive distribution on data space. We describe two such MCMC methods. Both methods also allow inference of the hyperparameters of the Gaussian process.

研究动机与目标

• 开发一种完全非参数的贝叶斯先验，用于概率密度函数，支持精确且可交换的数据生成。
• 解决从高斯过程先验构造有效且归一化密度的挑战，因为高斯过程本身是未归一化的，且可能产生负值。
• 通过马尔可夫链蒙特卡洛（MCMC）方法，实现对密度函数及其超参数的后验推断。
• 通过构建生成模型绕过分区函数的直接计算，避免不可计算的归一化常数。
• 提供一种灵活的替代方案，以替代现有依赖有限维近似的逻辑高斯过程方法。

提出的方法

• 定义一个从高斯过程先验中抽取的潜在函数 $ g(\boldsymbol{x}) $，其均值为 $ m(\boldsymbol{x}) $，协方差函数为 $ C(\boldsymbol{x}, \boldsymbol{x}') $，由超参数 $ \theta $ 参数化。
• 构建密度 $ f(\boldsymbol{x}) = \frac{1}{\mathcal{Z}_\pi[\boldsymbol{g}]} \Phi(g(\boldsymbol{x})) \pi(\boldsymbol{x} | \psi) $，其中 $ \pi(\boldsymbol{x} | \psi) $ 为基密度，$ \Phi: \mathbb{R} \to (0,1) $ 确保非负性。
• 引入归一化常数 $ \mathcal{Z}_\pi[\boldsymbol{g}] = \int \Phi(g(x')) \pi(x' | \psi) \, dx' $，将其视为潜在函数 $ \boldsymbol{g} $ 的泛函，在推断过程中避免直接计算。
• 使用两种 MCMC 算法：一种基于交换采样，另一种基于推断潜在生成历史，两者均可实现对 $ \boldsymbol{g} $、$ \theta $ 和 $ \psi $ 的联合后验推断。
• 通过在数据点 $ \boldsymbol{x}_0 $ 处设定 $ g(\boldsymbol{x}_0) = 0 $ 的固定机制，提升采样效率并减少先验中的冗余。
• 通过将 $ g(\boldsymbol{x}) $ 的完整函数形式视为连续的随机函数，避免有限维近似，从而实现在无限维函数空间上的非参数推断。

实验结果

研究问题

• RQ1 如何利用高斯过程先验在不进行有限维截断的情况下，构造有效且归一化的概率密度函数？
• RQ2 能否从函数空间上的非参数先验中生成精确且可交换的数据样本？
• RQ3 在基于高斯过程的密度先验中，如何绕过贝叶斯推断中的不可计算归一化常数？
• RQ4 哪些 MCMC 策略能够实现对潜在函数、密度超参数和基密度参数的联合后验推断？
• RQ5 与逻辑高斯过程的有限维近似相比，该方法在可扩展性和准确性方面表现如何？

主要发现

• GPDS 通过有界函数 $ \Phi $ 和基密度 $ \pi(\boldsymbol{x} | \psi) $ 对高斯过程进行变换，为概率密度函数提供了有效的非参数先验，确保了归一化和非负性。
• 该方法支持从先验中进行精确且可交换的数据采样，而标准逻辑高斯过程先验由于归一化不可计算，无法实现这一点。
• 提出了两种 MCMC 算法——交换采样与潜在生成历史推断——均可对完整函数空间和超参数的后验进行采样。
• 归一化常数 $ \mathcal{Z}_\pi[\boldsymbol{g}] $ 从未显式计算；相反，生成模型通过直接处理未归一化密度，避免了其评估。
• 在数据点 $ \boldsymbol{x}_0 $ 处对潜在函数 $ g(\boldsymbol{x}_0) = 0 $ 进行固定，提升了采样效率并减少了先验冗余。
• 该方法避免了有限维近似（如基于网格的数值积分或基展开）的局限性，后者在高维下扩展性差且需要显式截断。