[论文解读] On information projections between multivariate elliptical and location-scale families

Frank Nielsen|arXiv (Cornell University)|Jan 11, 2021

Advanced Statistical Methods and Models参考文献 34被引用 4

一句话总结

本文证明了在位置尺度族与另一位置尺度族之间，最小 f-散度对所规定分布的位置和尺度参数的选择具有不变性。通过利用多变量位置尺度群作用下的不变性，作者将 f-散度计算简化为标准形式，实现了高效的蒙特卡洛估计，并通过费雪-罗测量揭示了双曲空间中的几何解释。

ABSTRACT

We study information projections with respect to statistical $f$-divergences between any two location-scale families. We consider a multivariate generalization of the location-scale families which includes the elliptical and the spherical subfamilies. By using the action of the multivariate location-scale group, we show how to reduce the calculation of $f$-divergences between any two location-scale densities to canonical settings involving standard densities, and derive thereof fast Monte Carlo estimators of $f$-divergences with good properties. Finally, we prove that the minimum $f$-divergence between a prescribed density of a location-scale family and another location-scale family is independent of the prescribed location-scale parameter. We interpret geometrically this property.

研究动机与目标

• 研究使用 f-散度对多变量椭球族与位置尺度族之间的信息投影。
• 推导 f-散度在多变量位置尺度群作用下的不变性性质。
• 将 f-散度计算简化为涉及标准密度的规范形式，以实现高效估计。
• 证明最小 f-散度投影与所规定的位置尺度参数无关。
• 利用双曲几何与费雪-罗测量，提供不变性性质的几何解释。

提出的方法

• 利用多变量位置尺度群的作用，将任意密度变换为规范形式，简化 f-散度计算。
• 推导 f-散度在位置尺度变换下的不变性（定理1），实现向标准密度的简化。
• 应用费雪-罗测量，证明位置尺度族的统计流形具有恒定负曲率，表明其具有双曲几何结构。
• 当闭式计算不可行时，通过规范化简化构造出高效的蒙特卡洛估计器。
• 利用莫比乌斯变换及 SLℝ(2) 与 SUℂ(1,1) 之间的同构，将庞加莱上半平面映射到单位圆盘，以进行几何分析。
• 建立位置尺度族中两个密度之间的费雪-罗距离与庞加莱模型中缩放后的双曲距离之间的对应关系。

实验结果

研究问题

• RQ1 在位置尺度族与另一位置尺度族之间，最小 f-散度是否依赖于所规定分布中的参数选择？
• RQ2 任意位置尺度密度之间的 f-散度能否被简化为涉及标准密度的规范形式？
• RQ3 在费雪-罗测量下，位置尺度族的统计流形具有何种几何结构？
• RQ4 如何为位置尺度族之间的 f-散度构造高效的蒙特卡洛估计器？
• RQ5 多变量位置尺度群在简化信息投影问题中起到什么作用？

主要发现

• 在所规定的位置尺度族与另一位置尺度族之间，最小 f-散度与所规定分布的位置和尺度参数无关。
• f-散度在多变量位置尺度群作用下保持不变，从而可简化为涉及标准密度的规范设置。
• 位置尺度族上的费雪-罗测量诱导出具有恒定负曲率的双曲几何，具体为 κ = −1/b²。
• 对于多变量正态族，费雪-罗距离与庞加莱上半平面中曲率为 κ = −1/2 的双曲距离成正比。
• 对于柯西族，费雪-罗距离对应于曲率为 κ = −2 的缩放双曲距离。
• 通过利用规范化简化，构造出高效的 f-散度蒙特卡洛估计器，确保了良好的统计性质。