[论文解读] On the Kozachenko-Leonenko entropy estimator

Nicolas Fournier, Sylvain Delattre|arXiv (Cornell University)|Feb 24, 2016

Statistical Methods and Inference参考文献 12被引用 3

一句话总结

本文对 Kozachenko-Leonenko 熵估计器提供了严格的非渐近分析，推导出其在一般维度下的偏差与方差。在 1 维和 2 维中建立了中心极限定理，并利用 Richardson 外推法构造了一个偏差校正估计器，该估计器在任意维度下均具有显式的渐近置信区间。

ABSTRACT

We study in details the bias and variance of the entropy estimator proposed by Kozachenko and Leonenko for a large class of densities on $\mathbb{R}^d$. We then use the work of Bickel and Breiman to prove a central limit theorem in dimensions $1$ and $2$. In higher dimensions, we provide a development of the bias in terms of powers of $N^{-2/d}$. This allows us to use a Richardson extrapolation to build, in any dimension, an estimator satisfying a central limit theorem and for which we can give some some explicit (asymptotic) confidence intervals.

研究动机与目标

• 为 R^d 上一般密度的 Kozachenko-Leonenko 熵估计器提供详细的非渐近偏差与方差研究。
• 基于 Bickel 和 Breiman 的框架，在 1 维和 2 维中建立该估计器的中心极限定理。
• 为任意维度推导出以 N^{-2/d} 为形式的高阶偏差展开式。
• 通过 Richardson 外推法构造一个偏差校正估计器，使其满足中心极限定理，并在任意维度下可获得显式的渐近置信区间。

提出的方法

• 估计器定义为 $ H_N = \frac{1}{N+1}\sum_{i=1}^{N+1}\log Y^N_i + \gamma + \log v_d $，其中 $ Y^N_i = N(R^N_i)^d $，$ R^N_i $ 表示 $ X_i $ 到 $ X_1, \dots, X_{N+1} $ 中最近邻的距离。
• 作者基于给定 $ X_i $ 时 $ Y^N_i $ 近似服从速率 $ v_d f(X_i) $ 的指数分布这一启发式论证，来证明 $ H_N $ 的相合性。
• 在偏差分析中，他们在密度 $ f $ 满足正则性条件（包括多项式尾部和指数尾部）的前提下，推导出以 $ N^{-2/d} $ 为幂次的级数展开。
• 他们应用 Bickel 和 Breiman 的结果，在 $ \log f $ 和 $ \log^2 f $ 满足矩条件时，证明了在 1 维和 2 维下的渐近正态性。
• 对于更高维度，他们采用 Richardson 外推法：通过在多个样本大小下计算 $ H_N $，消除主导偏差项 $ c N^{-2/d} $，从而得到收敛速度更快的估计器。
• 由此得到的外推估计器满足中心极限定理，并可通过正态近似获得显式的渐近置信区间。

实验结果

研究问题

• RQ1 Kozachenko-Leonenko 熵估计器在任意维度下的精确偏差结构是什么？
• RQ2 在什么条件下，该估计器在 1 维和 2 维下满足中心极限定理？
• RQ3 能否通过外推法在高维中系统性地校正该估计器的偏差？
• RQ4 偏差校正后，熵估计器的显式渐近置信区间是什么？
• RQ5 密度 $ f $ 的正则性与尾部行为如何影响收敛速度与偏差展开式？

主要发现

• Kozachenko-Leonenko 估计器的偏差可展开为 $ N^{-2/d} $ 的幂级数，主导项为 $ c N^{-2/d} $，该展开式对包含多项式尾部和指数尾部的广泛密度类均成立。
• 在 1 维和 2 维中，该估计器在 $ \log f $ 和 $ \log^2 f $ 满足矩条件时，满足中心极限定理，该结论基于 Bickel 和 Breiman 的框架建立。
• 对于维度 $ d \geq 3 $，由于偏差占主导，原始估计器不满足中心极限定理，但 Richardson 外推法可消除主导偏差项。
• 外推估计器在任意维度下均实现 $ \sqrt{N} $-相合性与渐近正态性，从而可构造显式的渐近置信区间。
• 该方法适用于重尾密度（如 $ f(x) \sim |x|^{-a} e^{-|x|} $）以及具有奇点的有界密度（如 Beta 类密度），前提是维度 $ d \geq 3 $ 时正则性参数 $ \tau $ 满足 $ \tau \geq 2 $。
• 本文通过推论 7 和推论 9 提供了中心极限定理适用性的充分条件，具体取决于维度与尾部行为，对指数 $ a $ 和维度 $ d $ 给出了明确的约束条件。