[论文解读] On Estimating $L_2^2$ Divergence

Akshay Krishnamurthy, Kirthevasan Kandasamy+2 more|arXiv (Cornell University)|Oct 30, 2014

Statistical Methods and Inference参考文献 11被引用 2

一句话总结

本文对基于核的U统计量估计器在两个连续概率密度之间的$L_2^2$散度进行了全面的理论分析。在光滑性条件下，该估计器实现了参数型$ olimits$-一致收敛速率，具有渐近正态性，可构造渐近置信区间，且为极小极大最优，首次在非参数设定下完整刻画了其有限样本与渐近性质。

ABSTRACT

We give a comprehensive theoretical characterization of a nonparametric estimator for the $L_2^2$ divergence between two continuous distributions. We first bound the rate of convergence of our estimator, showing that it is $\sqrt{n}$-consistent provided the densities are sufficiently smooth. In this smooth regime, we then show that our estimator is asymptotically normal, construct asymptotic confidence intervals, and establish a Berry-Esséen style inequality characterizing the rate of convergence to normality. We also show that this estimator is minimax optimal.

研究动机与目标

• 为两个连续密度之间的非参数$L_2^2$散度估计器提供完整的理论表征。
• 在由$\beta$参数化的不同光滑性假设下，建立估计器的收敛速率。
• 证明估计器的渐近正态性，并推导其渐近置信区间以用于推断。
• 建立类似Berry-Ess\'een的收敛速率界，衡量估计器趋近正态分布的速度。
• 通过匹配的下界证明估计器的极小极大最优性。

提出的方法

• 该估计器为基于核的多样本U统计量，利用对称核函数估计两个密度之间的$L_2^2$散度。
• 分析依赖于非参数函数估计技术，特别是控制积分泛函估计中的偏差与方差。
• 关键技术贡献在于通过仔细控制估计器及其方差估计器中的偏差，推导出类似Berry-Ess\'een的不等式。
• 利用信息论技术建立极小极大下界，表明该估计器的收敛速率无法进一步提升。
• 通过带宽选择实现欠平滑，当$\beta \geq d/4$时，实现参数型$n^{-1}$收敛速率。
• 利用估计器的渐近正态性及其渐近方差的一致估计，构建渐近置信区间。

实验结果

研究问题

• RQ1 在光滑性假设下，基于核的U统计量估计器对$L_2^2$散度的收敛速率如何？
• RQ2 在何种条件下估计器具有渐近正态性，其趋近正态分布的速度如何？
• RQ3 能否构造具有有效覆盖性质的渐近置信区间？
• RQ4 该估计器是否为极小极大最优？估计误差的理论下界是什么？
• RQ5 尽管基于固定维度渐近分析，估计器在高维设定下的性能为何会退化？

主要发现

• 当密度足够光滑，即$\beta \geq d/4$时，估计器实现$\sqrt{n}$-一致收敛速率，且平方误差达到参数型$n^{-1}$速率。
• 当$\beta > d/4$时，估计器渐近正态，可构造具有有效覆盖性质的渐近置信区间。
• 建立了类似Berry-Ess\'een的不等式，量化表明在$\beta > d/4$条件下，趋近正态的速率为$O(n^{-1/6})$。
• 通过匹配的下界证明估计器为极小极大最优，表明在给定光滑性假设下，其达到了最佳可能的收敛速率。
• 模拟结果验证了低维情形下的$\sqrt{n}$-速率，但在高维情形下显著变慢，表明固定维数分析未能捕捉到的“维度诅咒”现象。
• 所提出的置信区间在低维情形下表现准确，但在中等维度下因收敛至渐近近似过慢而失去可靠性。