[论文解读] Nearest neighbor density functional estimation based on inverse Laplace transform

Shouvik Ganguly, Jongha Ryu+3 more|arXiv (Cornell University)|May 21, 2018

Advanced Statistical Methods and Models参考文献 67被引用 7

一句话总结

本文提出了一种基于密度函数的缩放函数 $f$ 的逆拉普拉斯变换的 $L_2$-一致 $k$-最近邻估计器，用于一般密度泛函的估计。该方法通过利用归一化 $k$-NN 球体积的伽马极限实现渐近无偏性，恢复了香农和 Rényi 熵及散度的已知估计器，同时为对数熵及其他泛函引入了新的一致估计器。

ABSTRACT

A new approach to $L_2$-consistent estimation of a general density functional using $k$-nearest neighbor distances is proposed, where the functional under consideration is in the form of the expectation of some function $f$ of the densities at each point. The estimator is designed to be asymptotically unbiased, using the convergence of the normalized volume of a $k$-nearest neighbor ball to a Gamma distribution in the large-sample limit, and naturally involves the inverse Laplace transform of a scaled version of the function $f.$ Some instantiations of the proposed estimator recover existing $k$-nearest neighbor based estimators of Shannon and Renyi entropies and Kullback--Leibler and Renyi divergences, and discover new consistent estimators for many other functionals such as logarithmic entropies and divergences. The $L_2$-consistency of the proposed estimator is established for a broad class of densities for general functionals, and the convergence rate in mean squared error is established as a function of the sample size for smooth, bounded densities.

研究动机与目标

• 开发一种适用于局部密度函数的期望形式表达的一般性密度泛函的 $L_2$-一致估计器。
• 解决在香农熵和散度之外，缺乏统一框架以实现对多样化泛函的 $k$-NN 一致估计的问题。
• 通过利用归一化 $k$-NN 球体积收敛至伽马分布的性质，建立渐近无偏性。
• 推导出一类针对此前未解决的泛函（如对数熵和其它泛函）的新一致估计器。

提出的方法

• 该估计器通过函数 $f$ 的缩放版本的逆拉普拉斯变换构建，将感兴趣的泛函转化为适合基于 $k$-NN 距离估计的形式。
• 它利用在底层密度满足正则性条件时，归一化 $k$-NN 球体积渐近收敛至伽马分布的性质。
• 通过控制 $k$-NN 距离的渐近分布行为，该方法确保在一大类密度下实现 $L_2$-一致性，从而控制偏差与方差。
• 该估计器自然地将现有的香农和 Rényi 熵的 $k$-NN 估计器，以及 Kullback–Leibler 和 Rényi 散度的估计器作为特例恢复。
• 推导出在光滑且有界的密度下，均方误差的收敛速率作为样本大小的函数。
• 该框架使得通过指定适当的 $f$ 函数，能够设计出针对对数熵等泛函的新一致估计器。

实验结果

研究问题

• RQ1 能否基于 $k$-最近邻距离，为一般密度泛函开发一种统一的 $L_2$-一致估计器？
• RQ2 如何利用逆拉普拉斯变换基于 $k$-NN 体积统计量构造渐近无偏估计器？
• RQ3 该框架可一致估计的泛函类别是什么，除了已知的熵和散度之外？
• RQ4 对于光滑且有界的密度，所提估计器在均方误差下的收敛速率如何？
• RQ5 该估计器如何恢复已知的香农和 Rényi 熵及散度的 $k$-NN 估计器？

主要发现

• 所提估计器对一大类密度实现 $L_2$-一致性，确保其在均方误差意义下收敛至真实泛函值。
• 由于在大样本极限下归一化 $k$-NN 球体积收敛至伽马分布，该估计器具有渐近无偏性。
• 该框架将现有的香农和 Rényi 熵以及 Kullback–Leibler 和 Rényi 散度的 $k$-NN 估计器作为特例自然恢复。
• 针对此前未解决的泛函（包括对数熵和散度）发现了新的一致估计器。
• 在光滑且有界的密度下，建立了均方误差收敛速率作为样本大小的函数。
• 使用逆拉普拉斯变换为将任意泛函映射为可通过 $k$-NN 距离估计的形式提供了系统性方法。