[论文解读] Nonparametric Information Geometry

Giovanni Pistone|arXiv (Cornell University)|Jun 3, 2013

Statistical Mechanics and Entropy参考文献 2被引用 12

一句话总结

本文提出了一种基于Orlicz空间的巴拿赫流形建模的非参数信息几何框架，通过中心化对数似然函数参数化正概率密度。主要贡献在于为正密度空间建立了严格的微分几何结构，将指数族推广至非参数模型，适用于微分方程与度量联络研究。

ABSTRACT

The differential-geometric structure of the set of positive densities on a given measure space has raised the interest of many mathematicians after the discovery by C.R. Rao of the geometric meaning of the Fisher information. Most of the research is focused on parametric statistical models. In series of papers by author and coworkers a particular version of the nonparametric case has been discussed. It consists of a minimalistic structure modeled according the theory of exponential families: given a reference density other densities are represented by the centered log likelihood which is an element of an Orlicz space. This mappings give a system of charts of a Banach manifold. It has been observed that, while the construction is natural, the practical applicability is limited by the technical difficulty to deal with such a class of Banach spaces. It has been suggested recently to replace the exponential function with other functions with similar behavior but polynomial growth at infinity in order to obtain more tractable Banach spaces, e.g. Hilbert spaces. We give first a review of our theory with special emphasis on the specific issues of the infinite dimensional setting. In a second part we discuss two specific topics, differential equations and the metric connection. The position of this line of research with respect to other approaches is briefly discussed.

研究动机与目标

• 在正概率密度空间上建立经典的巴拿赫流形结构，将参数指数族几何推广至非参数设定。
• 通过引入具有多项式增长的变形指数函数，解决在无穷维统计模型中使用Orlicz空间的技术挑战。
• 通过可计算的巴拿赫空间模型，实现非参数统计中实际计算与几何分析。
• 利用Orlicz空间与L^ϕ,p空间，将费雪信息度量与指数联络推广至无穷维设定。
• 探索信息几何、微分方程与流形上希尔伯特丛结构之间的联系。

提出的方法

• 通过图表 $ s_p: q \to u $ 表示每个正密度 $ p $，其中 $ u = \text{ln}_\text{ϕ}(q) - \text{ln}_\text{ϕ}(p) - \text{E}_{\text{ϕ}(p)}[\text{ln}_\text{ϕ}(q) - \text{ln}_\text{ϕ}(p)] $，映射至中心化随机变量的Orlicz空间 $ B_p $。
• 使用Young对 $ (\text{ϕ}, \text{ϕ}^{-1}) $ 定义变形指数 $ \text{exp}_\text{ϕ} $，替代指数族中的标准指数函数，以确保多项式增长与希尔伯特空间相容性。
• 定义 $ \text{ϕ} $-矩生成泛函 $ L^{\text{ϕ},p}(v) = \text{E}_\text{μ}[\text{exp}_\text{ϕ}(v + \text{ln}_\text{ϕ}(p))] $，其定义域位于 $ L^{\text{ϕ},p}(\text{μ}) $，以保证可积性与严格凸性。
• 将 $ \text{ϕ} $-累积量生成函数 $ K_p(u) $ 定义为 $ k \to \text{E}_\text{ϕ}(p)[\text{exp}_\text{ϕ}(u - k + \text{ln}_\text{ϕ}(p))] \to 1 $ 的上确界，确保密度 $ q = \text{exp}_\text{ϕ}(u - K_p(u) + \text{ln}_\text{ϕ}(p)) $ 的归一化。
• 通过图表 $ s_p $ 与 $ s_{p'} $ 之间的光滑过渡映射建立流形结构，确保 $ s_{p'} \text{∘} s_p^{-1} $ 在巴拿赫空间的开子集之间光滑。
• 分析流形上的度量联络与希尔伯特丛结构，证明 $ K_p $ 严格凸、下半连续，且在定义域内部可微。

实验结果

研究问题

• RQ1 如何在无参数限制的正密度无穷维空间中，将经典指数族几何结构进行推广？
• RQ2 Orlicz空间在正密度空间的巴拿赫流形结构构建中起到何种作用？
• RQ3 具有多项式增长的变形指数函数能否替代指数函数，从而获得更易处理的巴拿赫空间（如希尔伯特空间）？
• RQ4 在这些流形上的非参数信息几何中，微分方程如何自然出现？
• RQ5 $ \text{ϕ} $-累积量生成函数及其导数的几何意义为何？其与度量联络的关系如何？

主要发现

• 正密度空间 $ \text{𝒫}_{>} $ 允许基于Orlicz空间 $ B_p $ 的巴拿赫流形结构，其图表通过中心化对数似然函数定义。
• $ \text{ϕ} $-累积量生成函数 $ K_p(u) $ 在其定义域内部有限且可微，其导数为 $ D K_p(u) v = \text{E}_{\text{ϕ}(q)}[v] $，确保流形的光滑性。
• 当 $ \text{ϕ}(u) = \text{e}^u - 1 $ 时，若 $ \text{ϕ} $-中心化变量属于 $ L^2 $，则所得空间微分同构于希尔伯特空间，支持实际计算。
• $ \text{ϕ} $-矩生成泛函的适当定义域在 $ L^{\text{ϕ},p}(\text{μ}) $ 中包含一个半径为1的开球，确保局部可积性。
• 映射 $ u \to q = \text{exp}_\text{ϕ}(u - K_p(u) + \text{ln}_\text{ϕ}(p)) $ 是从 $ K_p $ 定义域到 $ \text{𝒫}_{>} $ 的双射，确保完全参数化。
• 当 $ \text{ln}_\text{ϕ}(q) - \text{ln}_\text{ϕ}(p) \notin L^{\text{ϕ},p}(\text{μ}) $ 时，对应的 $ u $ 落在 $ K_p $ 定义域之外，表明存在几何奇点。