[论文解读] Nonparanormal Information Estimation

Shashank Singh, Barnabás Póczos|arXiv (Cornell University)|Feb 24, 2017

Statistical Methods and Inference参考文献 29被引用 8

一句话总结

该论文提出了一类非参数正态信息估计器，在高维设置下通过建模数据为具有未知边缘变换的高斯拷贝（Gaussian copula）来平衡鲁棒性与可扩展性。该方法利用基于秩的依赖度量（Spearman等级相关系数和Kendall等级相关系数）在非参数正态假设下估计互信息，实现了最优收敛速率 $\|Σ^{-1}\|_2^2 D^2 / n$，在实践中优于高斯估计器和非参数估计器。

ABSTRACT

We study the problem of using i.i.d. samples from an unknown multivariate probability distribution $p$ to estimate the mutual information of $p$. This problem has recently received attention in two settings: (1) where $p$ is assumed to be Gaussian and (2) where $p$ is assumed only to lie in a large nonparametric smoothness class. Estimators proposed for the Gaussian case converge in high dimensions when the Gaussian assumption holds, but are brittle, failing dramatically when $p$ is not Gaussian. Estimators proposed for the nonparametric case fail to converge with realistic sample sizes except in very low dimensions. As a result, there is a lack of robust mutual information estimators for many realistic data. To address this, we propose estimators for mutual information when $p$ is assumed to be a nonparanormal (a.k.a., Gaussian copula) model, a semiparametric compromise between Gaussian and nonparametric extremes. Using theoretical bounds and experiments, we show these estimators strike a practical balance between robustness and scaling with dimensionality.

研究动机与目标

• 解决在非高斯性下仍具备鲁棒性且可扩展至高维的实用互信息估计器缺乏的问题。
• 弥合高维信息估计中高斯假设的脆弱性与非参数设定的不可行性之间的差距。
• 在非参数正态（高斯拷贝）模型下开发互信息估计器，确保在中等至高维情形下的一致性和收敛性。
• 为非参数正态互信息估计提供理论误差界，包括估计误差的上界与下界。
• 实证表明，非参数正态估计器比高斯估计器更具鲁棒性，且在中等样本量下仍能收敛，而此时非参数估计器会失效。

提出的方法

• 将联合分布建模为非参数正态（高斯拷贝）分布，假设边缘变换可使数据近似服从高斯分布。
• 使用基于秩的度量（Spearman等级相关系数与Kendall等级相关系数）而非参数密度估计来估计互信息，从而降低对边缘分布假设的敏感性。
• 提出三种估计器：$\widehat{I}_{\rho}$（基于Spearman等级相关系数）、$\widehat{I}_{\tau}$（基于Kendall等级相关系数）和$\widehat{I}_{G}$（基于高斯拷贝），每种利用不同的依赖结构。
• 推导估计误差的理论上界，形式为$\|Σ^{-1}\|_2^2 D^2 / n$，表明其依赖于逆相关矩阵和维度。
• 建立最小最大下界为$2D/n$，表明上界在$\Sigma$相关的因子范围内是紧致的，并表明基于秩的估计器对$\Sigma$的依赖方式与高斯情形不同。
• 使用样本间距和$k$-最近邻方法估计边缘微熵，结合互信息估计结果以计算联合微熵。

实验结果

研究问题

• RQ1 非参数正态假设是否能在非参数估计器失效、高斯估计器崩溃的高维设置下，实现一致的互信息估计？
• RQ2 非参数正态估计器的理论误差率与高斯情形下的最小最大下界相比如何？其对潜在相关矩阵$\Sigma$的依赖性如何？
• RQ3 在高维数据中，Spearman等级相关系数和Kendall等级相关系数等基于秩的估计器相比参数或非参数替代方法在鲁棒性方面改善程度如何？
• RQ4 非参数正态模型是否能支持熵及其他泛函（尤其在$\Sigma$具有结构假设时）的一致估计？
• RQ5 误差界中维度$D$的二次依赖是否最优？对$\Sigma$的结构假设能否带来更优的收敛速率？

主要发现

• 所提出的非参数正态估计器在均方误差上的理论最坏上界为$\|Σ^{-1}\|_2^2 D^2 / n$，当$\Sigma$条件良好时，该界在维度上表现有利。
• 非参数正态模型的最小最大下界为$2D/n$，与高斯情形一致，表明上界在$\Sigma$相关的因子范围内近乎最优。
• 实证结果表明，非参数正态估计器比高斯估计器更具鲁棒性，尤其在数据偏离多元正态分布及高维情形下表现更优。
• $\widehat{I}_{\rho}$与$\widehat{I}_{\tau}$在$D^2/n$较小时表现有效，其中$\widehat{I}_{\rho}$对异常值更具鲁棒性，而$\widehat{I}_{\tau}$更适合强依赖关系。
• 通过将基于秩的互信息估计器与$k$-最近邻或样本间距方法结合以估计边缘微熵，实现了熵估计，误差界为$CD^2/n$。
• 本研究为在模型下一致估计$\log|\Sigma|$的基础上，拓展QDA和MANOVA等多元工具的稳健非参数正态版本开辟了新路径。