[论文解读] Nonparametric Ensemble Estimation of Distributional Functionals

Kevin R. Moon, Kumar Sricharan+2 more|arXiv (Cornell University)|Jan 26, 2016

Bayesian Methods and Mixture Models参考文献 39被引用 12

一句话总结

本文提出了一类非参数集成估计器，用于估计熵和Rényi-α散度等分布函数泛函，在光滑性条件下无需事先知道支撑边界即可实现参数化均方误差（MSE）收敛速率。该方法采用最优加权集成估计，性能优于标准核插值估计器，尤其在高维情形下表现更优。

ABSTRACT

Distributional functionals are integral functionals of one or more probability distributions. Distributional functionals include information measures such as entropy, mutual information, and divergence. Recent work has focused on the problem of nonparametric estimation of entropy and information divergence functionals. Many existing approaches are restrictive in their assumptions on the density support set or require difficult calculations at the support boundary which must be known a priori. The MSE convergence rate of a leave-one-out kernel density plug-in divergence functional estimator for general bounded density support sets is derived where knowledge of the support boundary is not required. The theory of optimally weighted ensemble estimation is generalized to derive two estimators that achieve the parametric rate when the densities are sufficiently smooth. The asymptotic distribution of these estimators and some guidelines for tuning parameter selection are provided. Based on the theory, an empirical estimator of R\'enyi-$\alpha$ divergence is proposed that outperforms the standard kernel density plug-in estimator, especially in high dimension. The estimators are shown to be robust to the choice of tuning parameters.

研究动机与目标

• 解决现有非参数估计器在分布函数泛函估计中的局限性，这些估计器通常需要对密度支撑集施加限制性假设或事先知道边界位置。
• 开发一种非参数集成估计器，在密度足够光滑时可实现参数化MSE收敛速率，且无需事先知道支撑边界信息。
• 将最优加权集成估计理论推广至分布函数泛函，以改进熵和散度度量的估计性能。
• 为调参选择提供实用指导，并推导所提估计器的渐近分布，以支持统计推断应用。
• 提出一种基于集成框架的Rényi-α散度经验估计器，其性能优于标准核密度插值方法，尤其在高维设置下表现更优。

提出的方法

• 推导了在一般有界支撑集上，对散度泛函使用留一法核密度插值估计器的均方误差（MSE）收敛速率，且无需已知支撑边界信息。
• 将最优加权集成估计理论推广，构造了两种新估计器，在底层密度足够光滑时可实现参数化MSE速率。
• 采用带留一法校正的核密度估计以减少函数估计中的偏差，尤其在支撑边界附近。
• 应用最优加权方案组合多个核密度估计，以最小化方差同时保持偏差控制。
• 推导所提估计器的渐近正态分布，以支持置信区间等推断应用。
• 基于集成框架提出一种经验Rényi-α散度估计器，其对调参选择具有鲁棒性。

实验结果

研究问题

• RQ1 非参数集成估计能否在无需支撑边界知识的情况下，实现分布函数泛函的参数化MSE收敛速率？
• RQ2 如何将最优加权集成估计推广以改进熵和散度泛函的估计？
• RQ3 所提集成估计器的渐近分布为何？其在统计推断中如何应用？
• RQ4 在高维设置下，所提Rényi-α散度估计器与标准核插值估计器相比表现如何？
• RQ5 在实际应用中，所提估计器对调参选择的敏感程度如何？

主要发现

• 当底层密度足够光滑时，所提集成估计器即使在无支撑边界先验知识下，仍可实现参数化均方误差（MSE）收敛速率。
• 推导了估计器的渐近分布，从而可构建分布函数泛函的置信区间与假设检验。
• 经验Rényi-α散度估计器优于标准核密度插值估计器，尤其在高维数据设置下表现更优。
• 估计器对调参选择表现出鲁棒性，实际应用中对带宽和核函数选择的敏感度较低。
• 理论框架允许在一般有界支撑集上实现分布函数泛函的非参数估计，克服了以往对支撑知识的依赖假设。