[论文解读] Variational Inference for Gaussian Process Modulated Poisson Processes

Chris Lloyd, Tom Gunter+2 more|arXiv (Cornell University)|Nov 2, 2014

Gaussian Processes and Bayesian Inference参考文献 21被引用 70

一句话总结

本文提出了一种针对高斯过程调制泊松过程的完全变分贝叶斯推断方法，该方法消除了领域离散化，实现了 O(N) 的计算复杂度，并可在连续时空点过程数据上实现快速、精确的推断。所提出的点过程变分贝叶斯框架（VBPP）在合成数据、煤矿灾难记录以及肯尼亚疟疾病例数据上的预测准确性和运行时间方面，均优于基于采样的方法和核平滑方法。

ABSTRACT

We present the first fully variational Bayesian inference scheme for continuous Gaussian-process-modulated Poisson processes. Such point processes are used in a variety of domains, including neuroscience, geo-statistics and astronomy, but their use is hindered by the computational cost of existing inference schemes. Our scheme: requires no discretisation of the domain; scales linearly in the number of observed events; and is many orders of magnitude faster than previous sampling based approaches. The resulting algorithm is shown to outperform standard methods on synthetic examples, coal mining disaster data and in the prediction of Malaria incidences in Kenya.

研究动机与目标

• 解决由于后验分布双重不可计算性导致的连续域高斯过程调制泊松过程中的贝叶斯推断计算不可行问题。
• 克服标准高斯过程推断的 O(N³) 复杂度以及离散化方法对分箱敏感的问题。
• 开发一种完全基于变分贝叶斯的框架，实现与观测事件数线性相关的计算复杂度，并避免领域离散化。
• 在完全生成式、可扩展的贝叶斯框架中，实现对具有连续协变量（如降雨量）的点过程的联合建模。
• 在包括灾难记录和疾病发病率数据在内的真实世界数据集上，展示优越的预测性能和效率。

提出的方法

• 为非齐次泊松过程提出一种变分推断方案，其中强度函数通过逻辑斯蒂克或平方链接函数转换的高斯过程进行建模。
• 引入一种非高斯似然模型，采用平方链接函数，避免了以往方法（如 Sigmoidal Gaussian Cox Process）所需的隐式稀释（latent thinning）。
• 使用诱导点来近似完整高斯过程，通过减少潜在函数评估次数，实现 O(N) 的复杂度。
• 推导出一个变分下界（ELBO），通过高斯近似来逼近不可计算的后验分布，该近似作用于高斯过程的潜在函数。
• 通过优化变分参数（包括诱导点位置）来提高近似紧致性与预测性能。
• 采用结构化变分近似，保持计算效率的同时捕捉强度函数中的不确定性。

实验结果

研究问题

• RQ1 能否为连续域高斯过程调制泊松过程开发一种完全基于变分贝叶斯的推断方法，且无需进行领域离散化？
• RQ2 所提出的方法是否能实现与观测事件数呈线性关系的 O(N) 复杂度，显著优于 O(N³) 的基于采样的方法？
• RQ3 在真实世界数据集上，VBPP 框架在预测对数似然和运行时间方面与核平滑和 SGCP 方法相比表现如何？
• RQ4 该方法能否在无分箱的前提下，有效建模高维时空域中复杂且非泊松型的强度函数？
• RQ5 该框架在多输出高斯过程框架下，能否有效扩展以联合建模点过程与连续协变量？

主要发现

• VBPP 方法实现了 O(N) 的计算复杂度，在煤矿灾难数据集上仅耗时 0.7 秒，而 SGCP 方法耗时 417.6 秒。
• 在 Twitter 数据上，即使仅使用 10 个诱导点，VBPP 在预测对数似然方面也优于核平滑和 SGCP 方法。
• 在肯尼亚的二维疟疾病例数据上，VBPP 的测试对数似然达到 869.7，优于核平滑（867.2）和 SGCP 方法。
• 当使用优化后的诱导点时，变分下界（L₀）和 Lp 边界在诱导点数量较少时变得更紧，表明不确定性量化得到改善。
• 在所有基准数据集（包括合成数据、灾难记录和疾病发病率数据）的保留数据上，VBPP 的预测精度均优于标准方法。
• 该方法能够实现对实值协变量（如降雨量）与点过程的联合推断，为流行病学和环境科学中的完全生成式建模开辟了新途径。