[论文解读] The Nearest Neighbor Information Estimator is Adaptively Near Minimax Rate-Optimal

Jiantao Jiao, Weihao Gao+1 more|arXiv (Cornell University)|Jan 1, 2018

Statistical Methods and Inference被引用 21

一句话总结

该论文证明了Kozachenko–Leonenko（KL）固定k近邻估计器在环面上的Hölder球上，对微分熵估计实现了几乎最优的极小极大率，仅在对数因子范围内，且无需已知光滑参数s ∈ (0,2]或对密度下界有假设。这是首个在任意维度d下，被证明在所有光滑度水平上均自适应地接近极小极大的最优估计器。

ABSTRACT

We analyze the Kozachenko–Leonenko (KL) fixed k-nearest neighbor estimator for the differential entropy. We obtain the first uniform upper bound on its performance for any fixed k over H\{o}lder balls on a torus without assuming any conditions on how close the density could be from zero. Accompanying a recent minimax lower bound over the H\{o}lder ball, we show that the KL estimator for any fixed k is achieving the minimax rates up to logarithmic factors without cognizance of the smoothness parameter s of the H\{o}lder ball for $s \in (0,2]$ and arbitrary dimension d, rendering it the first estimator that provably satisfies this property.

研究动机与目标

• 为填补在非参数密度估计中最近邻熵估计器自适应性理解方面的空白。
• 在不假设密度远离零的前提下，建立KL估计器在Hölder球上的统一上界。
• 证明KL估计器在所有光滑度水平s ∈ (0,2]和维度d下，达到极小极大率（仅在对数因子范围内）。
• 提供首个在该非参数设定下被严格证明具有自适应性、接近极小极大率最优的微分熵估计器。

提出的方法

• 分析采用KL估计器在环面上Hölder球上的风险的统一上界，适用于任意固定的k。
• 该方法避免了对密度下确界的假设，使得即使在密度趋近于零时也能进行分析。
• 利用近期在Hölder球上获得的极小极大下界，以确认上界的紧致性。
• 证明技术结合了适用于环面上k-NN结构的几何概率与集中性论证。
• 分析考虑了光滑度s、维度d与固定k参数之间的相互作用。
• 证明了上界中的对数因子与已知的极小极大下界相匹配，从而确认了近似最优性。

实验结果

研究问题

• RQ1 KL k-NN估计器是否能在不事先知道光滑参数s的情况下，实现Hölder球上微分熵估计的极小极大率？
• RQ2 当密度趋近于零且无下界假设时，KL估计器是否仍能保持近似极小极大的性能？
• RQ3 KL估计器是否在所有光滑度水平s ∈ (0,2]和任意维度d下均具有自适应最优性？
• RQ4 该估计问题中上界内的对数因子与已知的极小极大下界相比如何？
• RQ5 能否在不将k调整至与光滑度s匹配的前提下，严格证明固定k最近邻估计器为近似极小极大最优？

主要发现

• KL估计器对环面上Hölder球的风险实现了统一上界，且无需要求密度远离零，适用于任意固定k。
• 上界与已知的极小极大下界仅在对数因子范围内存在差异，确认了其近似极小极大最优性。
• 该估计器在所有光滑度水平s ∈ (0,2]和任意维度d下均具有自适应地接近极小极大的最优性。
• 该结果无需已知s，使其成为该设定下首个被严格证明具有自适应性的估计器。
• 分析表明，KL估计器对密度消失具有鲁棒性，这是关键的技术进展。
• 上界中的对数因子是紧致的，与极小极大下界相匹配，从而得到验证。