[论文解读] Nonparametric Estimation of Renyi Divergence and Friends

Akshay Krishnamurthy, Kirthevasan Kandasamy+2 more|arXiv (Cornell University)|Feb 12, 2014

Statistical Mechanics and Entropy参考文献 27被引用 41

一句话总结

该论文提出了一类基于von Mises展开的校正插值估计器，用于非参数估计连续概率密度之间的L2、Rényi-α和Tsallis-α散度。研究证明，当密度的光滑度 $ s > d/4 $ 时，这些估计器可达到参数收敛速率 $ n^{-1/2} $，并推导出极小极大下界，确认 $ d/4 $ 为实现最优速率的关键光滑度阈值。

ABSTRACT

We consider nonparametric estimation of L2, Renyi-α and Tsallis-α divergences between continuous distributions. Our approach is to construct estimators for particular integral functionals of two densities and translate them into divergence estimators. For the integral functionals, our estimators are based on corrections of a preliminary plug-in estimator. We show that these estimators achieve the parametric convergence rate of n−1/2 when the densities’ smoothness, s, are both at least d/4 where d is the dimension. We also derive minimax lower bounds for this problem which confirm that s>d/4 is necessary to achieve the n−1/2 rate of convergence. We validate our theoretical guarantees with a number of simulations.

研究动机与目标

• 开发连续分布之间L2、Rényi-α和Tsallis-α散度的非参数估计器。
• 在密度满足Hölder光滑性假设的条件下，建立这些估计器的收敛速率。
• 推导极小极大下界，以刻画所提估计器的统计最优性。
• 证明实现参数收敛速率 $ n^{-1/2} $ 的临界光滑度阈值为 $ s > d/4 $。
• 通过数值模拟验证理论结果。

提出的方法

• 构建积分泛函 $ T(p,q) = \int p^\alpha(x) q^\beta(x) \, d\mu(x) $ 的估计器，该泛函统一了感兴趣的散度类型。
• 采用校正插值估计器，通过估计散度泛函von Mises展开中的高阶项。
• 对初始插值估计器施加一阶和二阶校正，以提升收敛速率。
• 通过散度泛函的函数泰勒展开（即von Mises展开）建立收敛速率，展开以密度差异为变量。
• 利用检验框架和在Hölder光滑密度上的随机化方法，推导极小极大下界。
• 使用截断核密度估计器，以确保估计链中中间函数的有界性与连续性。

实验结果

研究问题

• RQ1 Rényi-α与Tsallis-α散度的非参数估计的最优收敛速率是什么？
• RQ2 对插值估计器进行校正是否能使其收敛速率超越朴素估计器的 $ n^{-s/(2s+d)} $ 速率？
• RQ3 实现散度估计中参数收敛速率 $ n^{-1/2} $ 所需的最小光滑度 $ s $ 是多少？
• RQ4 当光滑度 $ s > d/4 $ 时，$ n^{-1/2} $ 速率是否不可改进，且 $ d/4 $ 是否为临界阈值？
• RQ5 在Hölder光滑性假设下，能否为这些散度推导出极小极大下界？

主要发现

• 校正插值估计器的收敛速率为 $ n^{-\min\{3s/(2s+d), 1/2\}} $，当 $ s > d/4 $ 时达到参数速率 $ n^{-1/2} $。
• 当 $ s \leq d/4 $ 时，估计速率的极小极大下界为 $ \Omega(n^{-4s/(4s+d)}) $，当 $ s > d/4 $ 时为 $ \Omega(n^{-1/2}) $，确认了在光滑区域中所提估计器的最优性。
• 实现 $ n^{-1/2} $ 速率的临界光滑度阈值为 $ d/4 $，低于此阈值时速率退化为 $ n^{-s/(2s+d)} $。
• 一阶校正估计器在计算上更为简洁，其收敛速率为 $ n^{-\min\{2s/(2s+d), 1/2\}} $，快于朴素插值估计器的 $ n^{-s/(2s+d)} $ 速率。
• 结果证实 $ d/4 $ 是收敛速率的严格阈值，因为当 $ s \leq d/4 $ 时，任何估计器都无法实现快于 $ n^{-1/2} $ 的速率。
• 数值模拟验证了理论收敛速率，并表明校正估计器显著优于朴素插值方法。