[论文解读] Optimal rates of entropy estimation over Lipschitz balls

Yanjun Han, Jiantao Jiao+2 more|arXiv (Cornell University)|Nov 6, 2017

Mathematical Approximation and Integration参考文献 20被引用 16

一句话总结

本文在不假设密度远离零的前提下，建立了在 [0,1]^d 上 Lipschitz 球上密度函数熵估计的极小极大最优速率。通过引入 Hardy-Littlewood 极大不等式的创新应用，并利用逼近理论分析偏差，作者推导出光滑参数 $ s \in (0,2] $ 下的最优速率 $(n\ln n)^{-s/(s+d)} + n^{-1/2}$，解决了在最小光滑性假设下非参数熵估计领域长期存在的开放问题。

ABSTRACT

We consider the problem of minimax estimation of the entropy of a density over Lipschitz balls. Dropping the usual assumption that the density is bounded away from zero, we obtain the minimax rates $(n\ln n)^{-s/(s+d)} + n^{-1/2}$ for $0

研究动机与目标

• 填补当密度未远离零时，Lipschitz 球中密度的极小极大熵估计速率之间的差距。
• 在 $ s $-Hölder 光滑性下（$ 0 < s \leq 2 $），建立熵估计的严格极小极大上下界。
• 通过 Orlicz 范数（特别是次高斯和次指数类）将结果推广至具有无界支撑的密度。
• 展示标准积分形式插补估计器结合核密度估计在该设定下无法实现最优速率。
• 通过 Hardy-Littlewood 极大不等式推导出关于费舍尔信息的新不等式，该不等式可能具有独立兴趣。

提出的方法

• 提出两阶段估计器：首先使用改进的核方法将真实密度近似为 $ C^2 $ 函数，然后通过带偏差校正的插补法估计熵。
• 应用 Hardy-Littlewood 极大不等式控制第一阶段近似中的偏差，尤其针对接近零的密度。
• 通过在密度上施加先验构造参数子模型，利用 Le Cam 方法及检验论证推导极小极大下界。
• 使用 Ditzian-Totik 光滑模量化逼近误差，并将其与估计器的偏差关联。
• 利用集中不等式和熵积分界分析第二阶段估计器的方差。
• 通过假设密度具有快速增长的 Orlicz 范数（例如次高斯），将速率推广至无界支撑，导出涉及反 Orlicz 函数的附加因子。

实验结果

研究问题

• RQ1 当密度未远离零时，在 $[0,1]^d$ 上 $ s $-Hölder 光滑密度的熵估计极小极大速率是多少？
• RQ2 在该设定下，标准积分形式插补估计器结合核密度估计能否实现最优极小极大速率？
• RQ3 当密度具有无界支撑但满足快速增长的 Orlicz 范数条件时，极小极大速率如何变化？
• RQ4 Hardy-Littlewood 极大不等式在控制非光滑区域中熵估计偏差方面起什么作用？
• RQ5 分析中是否涌现出关于费舍尔信息的新不等式？该不等式是否具有独立兴趣？

主要发现

• 在 $[0,1]^d$ 上 $ s $-Hölder 密度的熵估计中，极小极大速率为 $(n\ln n)^{-s/(s+d)} + n^{-1/2}$（$ 0 < s \leq 2 $），且无需对密度施加下界要求。
• 积分形式插补估计器结合核密度估计无法实现最优速率，其最坏情况性能明显更慢。
• 对于具有无界支撑且 $ \Psi $-Orlicz 范数有界的密度（如次高斯），极小极大速率变为 $(n\ln n)^{-s/(s+d)}(\Psi^{-1}(n))^{d(1-d/p(s+d))} + n^{-1/2}$，反映出尾部行为的影响。
• 本文通过 Hardy-Littlewood 极大不等式推导出关于费舍尔信息的新不等式，该结果作为副产品出现，可能在其他非参数估计问题中具有应用价值。
• 下界通过将问题约化为两个精心构造的先验下的参数子模型推导得出，结合了检验与信息论论证。
• 分析表明，熵估计中的关键挑战在于控制密度接近零时的偏差，该问题通过新颖的逼近方法与极大函数技术得以解决。