[论文解读] The nonparametric Fisher geometry and the chi-square process density prior

Andrew J. Holbrook, Shiwei Lan+2 more|arXiv (Cornell University)|Jul 11, 2017

Bayesian Methods and Mixture Models参考文献 34被引用 3

一句话总结

本文提出了一种新颖的贝叶斯非参数密度估计模型，利用非参数费雪几何，该模型被证明等价于平方根密度的无穷维球面。通过在受限高斯过程先验下建模平方根密度，并利用Karhunen-Loève展开，该方法借助球面对称哈密顿蒙特卡洛（spherical Hamiltonian Monte Carlo）实现快速推断，从而获得一种χ²-过程密度先验，确保计算效率与后验灵活性，同时在无穷维极限下形式化了球面对称HMC与黎曼HMC之间的联系。

ABSTRACT

It is well known that the Fisher information induces a Riemannian geometry on parametric families of probability density functions. Following recent work, we consider the nonparametric generalization of the Fisher geometry. The resulting nonparametric Fisher geometry is shown to be equivalent to a familiar, albeit infinite-dimensional, geometric object---the sphere. By shifting focus away from density functions and toward \emph{square-root} density functions, one may calculate theoretical quantities of interest with ease. More importantly, the sphere of square-root densities is much more computationally tractable. This insight leads to a novel Bayesian nonparametric density estimation model. We construct the $χ^2$-process density prior by modeling the square-root density with a restricted Gaussian process prior. Inference over square-root densities is fast, and the model retains the flexibility characteristic of Bayesian nonparametric models. Finally, we formalize the relationship between spherical HMC in the infinite-dimensional limit and standard Riemannian HMC.

研究动机与目标

• 将费雪信息几何从参数模型扩展至非参数密度族。
• 建立非参数费雪几何与平方根密度的无穷维L²球面之间的等价性。
• 开发一种计算高效的贝叶斯非参数密度估计模型，具备完整的后验推断能力。
• 在无穷维极限下，形式化有限维球面对称HMC与无穷维黎曼HMC之间的联系。
• 通过后验抽样和在密度估计与点过程中的应用，展示χ²-过程先验的实际有效性。

提出的方法

• 本文通过狄拉克测度将高斯过程先验限制在无穷维球面上，对平方根密度进行建模。
• 利用高斯过程先验的Karhunen-Loève（K-L）展开，将平方根密度表示为正交特征函数的组合。
• 通过截断K-L展开，将推断简化为有限维系数球面，从而实现高效计算。
• 在K-L系数的有限维球面上使用球面对称哈密顿蒙特卡洛（HMC）进行后验抽样。
• 将高斯过程先验的平方得到χ²-过程密度先验，用于贝叶斯密度估计。
• 通过测地线动力学，形式化了在无穷维极限下球面对称HMC与黎曼HMC之间的等价性。

实验结果

研究问题

• RQ1 非参数费雪几何与平方根密度的无穷维球面之间有何关系？
• RQ2 能否通过K-L展开将平方根密度上的高斯过程先验限制在球面上，以实现高效推断？
• RQ3 有限维球面上的球面对称HMC与无穷维极限下的黎曼HMC之间存在何种关系？
• RQ4 与现有方法相比，χ²-过程密度先验在贝叶斯密度估计中的表现如何？
• RQ5 χ²-过程先验能否在层次化模型（如Cox过程）中有效用于点过程强度函数的估计？

主要发现

• 在概率密度空间上的非参数费雪几何在数学上等价于平方根密度的无穷维L²球面。
• 使用平方根密度可将几何结构转化为球面，从而通过球面对称HMC实现计算上可处理的推断。
• 高斯过程先验的K-L展开可实现对球面的精确限制，并使计算复杂度与数据规模呈线性关系。
• 由高斯过程先验的平方导出的χ²-过程密度先验，可实现快速后验抽样，并在极少假设下生成合理的密度实现。
• 在有限维K-L系数球面上的球面对称HMC对应于无穷维极限下的黎曼HMC，形式化了关键的理论联系。
• 该模型实现了高效的后验计算，并可应用于复杂模型（如Cox过程），其中强度函数被建模为尺度参数与χ²-过程密度的乘积。