[论文解读] Propriety of the reference posterior distribution in Gaussian Process modeling

Joseph Muré|arXiv (Cornell University)|May 23, 2018

Statistical Methods and Inference参考文献 19被引用 7

一句话总结

本文证明了在具有平滑各向同性相关核的高斯过程模型中，参考后验分布的合理性——具体包括指数核（ρ=2）、马尔可夫核（ν≥1）和有理二次核——完整补全了伯杰等人（2001）针对粗糙核所启动的证明。通过提供参考先验和积分似然的解析界，确保后验分布的合理性，确认参考先验在粗糙与平滑相关结构下均为有效的默认选择。

ABSTRACT

In a seminal article, Berger, De Oliveira and Sans\\'o (2001) compare several objective prior distributions for the parameters of Gaussian Process regression models with isotropic correlation kernel. The reference prior distribution stands out among them insofar as it always leads to a proper posterior. They prove this result for rough correlation kernels - Spherical, Exponential with power $q<2$, Mat\\'ern with smoothness $\ u<1$. This paper provides a proof for smooth correlation kernels - Exponential with power $q=2$, Mat\\'ern with smoothness $\ u \\geqslant 1$, Rational Quadratic - along with tail rates of the reference prior for these kernels.

研究动机与目标

• 将参考先验后验合理性的证明从粗糙核扩展到高斯过程模型中的平滑各向同性相关核。
• 解决现有文献中的空白：此前仅在粗糙核（如ρ<2，ν<1）中建立了后验合理性。
• 为平滑核提供参考先验密度和积分似然的解析界，以支持理论验证。
• 确认参考先验在平滑相关函数下仍为有效默认先验选择，确保后验分布的合理性。
• 推广客观贝叶斯推断在空间和非平稳高斯过程建模中的理论基础。

提出的方法

• 通过大θ时相关矩阵Σθ的渐近展开，分析平滑核下似然和先验的行为。
• 应用矩阵扰动理论和谱分解，对涉及Σθ及其导数dΣθ/dθ的二次型进行有界控制。
• 利用引理C.7和引理C.8，控制二次型的下界和上界，确保正定性和可积性。
• 对函数rθ⁻¹Σθ − dΣθ/dθ建立有界性，以控制导数与矩阵本身之比，这对后验合理性至关重要。
• 将这些有界性结果应用于特定核（马尔可夫核、指数核、有理二次核），利用其特征谱表示和级数展开。
• 采用严格的渐近分析和函数不等式，证明边际似然和先验密度的积分有限，从而确保后验合理性。

实验结果

研究问题

• RQ1 参考先验是否对平滑各向同性相关核（如ν≥1的马尔可夫核和ρ=2的指数核）产生合理的后验分布？
• RQ2 用于粗糙核的分析框架能否扩展至证明平滑核的后验合理性？
• RQ3 平滑核的参考先验和积分似然的尾部行为及有界性如何？
• RQ4 平滑核的谱特性如何影响后验分布的可积性？
• RQ5 参考先验在具有平滑相关函数的高斯过程模型中是否仍为有效默认先验？

主要发现

• 证明了参考后验对平滑各向同性相关核（包括ρ=2的指数核、ν≥1的马尔可夫核和有理二次核）是合理的。
• 本文确立了即使相关核为平滑核，参考先验仍能导致合理后验，将伯杰等人（2001）的结果从粗糙核推广至平滑核。
• 推导出更紧致的参考先验密度和积分似然的有界性，尤其在附录B中针对特定核类型进行了详细分析。
• 分析确认，对于马尔可夫核，矩阵rθ⁻¹Σθ − dΣθ/dθ为对称正定矩阵，其有界性与(2ν + r)θ⁻¹成正比。
• 证明依赖于通过谱分解和矩阵扰动技术对二次型进行渐近控制，确保后验的可积性。
• 结果验证了参考先验作为高斯过程模型中平滑相关结构的默认非信息先验的合理性，确保了贝叶斯推断的一致性。