[论文解读] Scalable Nonparametric Bayesian Inference on Point Processes with Gaussian Processes

Yves-Laurent Kom Samo, Stephen Roberts|arXiv (Cornell University)|Oct 24, 2014

Gaussian Processes and Bayesian Inference参考文献 25被引用 24

一句话总结

该论文提出了一种可扩展的非参数贝叶斯方法，用于基于高斯过程对泊松点过程进行推断，避免了网格化或隐变量稀疏化。通过采用贪心效用最大化策略选择诱导点，该方法实现了 O(nk²) 的复杂度（k ≪ n），在合成数据和真实数据（包括以往难以处理的大规模数据集）上，相比现有 O(n³) 方法，实现了更快的推断速度、更高的准确性以及更低的 MCMC 相关性。

ABSTRACT

In this paper we propose the first non-parametric Bayesian model using Gaussian Processes to make inference on Poisson Point Processes without resorting to gridding the domain or to introducing latent thinning points. Unlike competing models that scale cubically and have a squared memory requirement in the number of data points, our model has a linear complexity and memory requirement. We propose an MCMC sampler and show that our model is faster, more accurate and generates less correlated samples than competing models on both synthetic and real-life data. Finally, we show that our model easily handles data sizes not considered thus far by alternate approaches.

研究动机与目标

• 解决现有泊松点过程非参数贝叶斯方法计算不可行的问题，这些方法的计算复杂度随数据规模呈立方增长。
• 消除对领域网格化或隐变量稀疏化点的依赖，这些方法会引入近似偏差和计算开销。
• 开发一种可扩展的精确 MCMC 推断框架，在保持完整贝叶斯处理的同时，将复杂度降低至 O(nk²)，其中 k ≪ n。
• 实现对大规模点过程数据（包括高维或稀疏数据集）的推断，这些数据集在以往方法下难以处理。
• 通过最优诱导点选择，提高 MCMC 采样效率，降低样本相关性并加速收敛。

提出的方法

• 提出一种非参数贝叶斯模型，其中强度函数被建模为高斯过程的正变换，以确保强度路径几乎必然光滑且为正。
• 提出一种新颖的效用函数，用于选择诱导点，以最大化后验协方差矩阵的迹，从而确保每个点的信息增益最优。
• 设计一种贪心算法，从数据中迭代选择 k 个诱导点，其收敛性被证明可趋近理论最大效用 w∞ = (1/N)ΣTr(Σᴰᴰ*(θᵢ))，当 α → 0 时。
• 推导出一种可处理的 MCMC 采样器，利用条件高斯过程的性质，仅通过数据和选定的诱导点更新强度函数的后验分布。
• 采用条件高斯过程框架，通过 Cholesky 分解更新后验协方差，确保数值稳定性，并实现每次更新 O(k²) 的复杂度。
• 通过保持 (λ(s₁), ..., λ(sₙ), ∫λ(s)ds) 的完整联合分布，确保方法保持精确性，避免近似，该联合分布完全决定了似然函数。

实验结果

研究问题

• RQ1 我们能否在数据点数量上实现子立方复杂度的精确非参数贝叶斯推断，用于泊松点过程？
• RQ2 我们能否在保持精确推断和可扩展性的同时，消除对网格化或隐变量稀疏化点的需求？
• RQ3 基于后验协方差迹的贪心诱导点选择是否能带来比现有方法更快的收敛速度和更低的 MCMC 相关性？
• RQ4 该方法能否扩展到现有 O(n³) 方法难以处理的大型数据集，特别是在高维或稀疏场景下？
• RQ5 基于效用的诱导点选择策略是否收敛至理论最大信息增益？其趋近极限的速度如何？

主要发现

• 所提方法实现了 O(nk²) 的计算复杂度，其中 k ≪ n，与 O(n³) 的替代方法相比，显著降低了时间和内存开销。
• MCMC 采样器产生的样本自相关性明显低于对比方法，提高了有效样本大小并加快了收敛速度。
• 在合成数据和真实世界数据上，该方法在估计强度函数方面表现出更高的准确性，并在边际似然近似方面表现更优。
• 该模型成功处理了以往方法难以处理的数据集，包括高维和稀疏的点过程。
• 贪心诱导点选择算法以线性速率 1 − 1/n 收敛至理论最大效用 w∞，确保了快速的信息增益。
• 证明了当 α → 0 时，效用函数的极限等于 (1/N)ΣTr(Σᴰᴰ*(θᵢ))，确认了该方法在信息增益方面的渐近最优性。