[论文解读] Optimality of Poisson processes intensity learning with Gaussian processes

Alisa Kirichenko, Harry van Zanten|arXiv (Cornell University)|Sep 17, 2014

Gaussian Processes and Bayesian Inference参考文献 16被引用 12

一句话总结

该论文建立了Sigmoidal Gaussian Cox Process（SGCP）在使用高斯过程学习非齐次泊松过程强度时的理论最优性。证明了在适当调优的超先验分布下，该方法在所有光滑度水平 β > 0 下均能达到最小最大最优收缩速率——仅相差对数因子——从而实现对强度函数未知正则性的自动适应。

ABSTRACT

In this paper we provide theoretical support for the so-called "Sigmoidal Gaussian Cox Process" approach to learning the intensity of an inhomogeneous Poisson process on a $d$-dimensional domain. This method was proposed by Adams, Murray and MacKay (ICML, 2009), who developed a tractable computational approach and showed in simulation and real data experiments that it can work quite satisfactorily. The results presented in the present paper provide theoretical underpinning of the method. In particular, we show how to tune the priors on the hyper parameters of the model in order for the procedure to automatically adapt to the degree of smoothness of the unknown intensity and to achieve optimal convergence rates.

研究动机与目标

• 为Adams等人（2009年）提出的Sigmoidal Gaussian Cox Process（SGCP）方法提供理论依据，用于非参数贝叶斯方法估计非齐次泊松过程的强度。
• 建立SGCP方法在最小最大框架下实现最优后验收缩速率的理论结果，无论真实强度函数的未知光滑度 β 为何值。
• 确定如何调优SGCP模型中长度尺度和乘性常数的超先验分布，以确保在所有 β > 0 下实现速率自适应性能。
• 通过分析一种完全非参数且计算上可行的方法（无需有限维近似），扩展对点过程非参数贝叶斯推断的理论理解。

提出的方法

• 该方法采用分层贝叶斯模型，其中强度被建模为高斯过程（GP）的Sigmoid变换，且GP的协方差结构由长度尺度超参数控制。
• 引入一个随机乘性常数，且对长度尺度和乘性常数分别赋予独立的超先验分布，以实现对强度函数未知光滑度 β 的自动适应。
• 理论分析基于van der Vaart与van Zanten（2008a, 2009）提出的高斯先验与条件高斯先验的后验收缩速率框架。
• 分析采用一种非标准先验构造，涉及对GP的随机缩放和Sigmoid链接函数，需扩展Belitser等人（2013）针对一维泊松过程的结果。
• 关键技术工具包括：通过高斯过程和超先验分布的浓度不等式与尾部界，推导出后验质量逃逸到真实强度邻域之外的概率上界。
• 证明表明，只要超先验被适当地调优，后验将围绕真实强度以最小最大速率 n^{-β/(d+2β)} 收缩，仅相差对数因子。

实验结果

研究问题

• RQ1 Sigmoidal Gaussian Cox Process（SGCP）能否在所有光滑度水平 β > 0 下实现非齐次泊松过程强度估计的最优后验收缩速率？
• RQ2 应如何调优SGCP模型中长度尺度和乘性常数的超先验分布，以确保SGCP方法能自动适应未知光滑度 β？
• RQ3 当 β 未知时，SGCP方法是否仍能实现最小最大最优速率 n^{-β/(d+2eta)} 的后验收缩？
• RQ4 对先验分布的哪些理论条件可确保后验质量以最优速率集中在真实强度函数附近？

主要发现

• 当超先验被适当地调优时，SGCP方法在任意 β > 0 下，后验收缩速率可达最小最大速率 n^{-β/(d+2β)}，仅相差对数因子。
• 最优调优策略涉及将超先验尺度参数分别按与 n^{1/(2β+d)} 和 n^{d/(2(2β+d))} 成比例的速率递减，分别对应GP和乘性常数。
• 该方法为完全速率自适应：在无需事先知晓 β 的情况下，能自动调整以适应真实强度函数的未知光滑度 β。
• 收缩速率在最小最大意义下是最优的，与任何程序在 β-光滑强度函数下可达到的最佳速率一致。
• 理论分析证实，SGCP方法通过适应强度的真实正则性，即使在 β 未知时也能避免过拟合与欠拟合。
• 该结果在GP协方差（如平方指数）和Sigmoid链接函数的温和条件下成立，且对先验选择具有一定灵活性。