[论文解读] Order-Optimal Estimation of Functionals of Discrete Distributions.

Jiantao Jiao, Kartik Venkat+1 more|arXiv (Cornell University)|Jun 26, 2014

Statistical Methods and Inference被引用 3

一句话总结

该论文提出了一种针对离散分布泛函的极小极大最优估计框架，对非光滑泛函采用无偏多项式逼近，对光滑泛函采用偏差校正的极大似然估计（MLE）。该框架建立了最优的样本复杂度——熵的样本复杂度为 $n acksimeq S/\ln S$，$F_\alpha$ 的样本复杂度为 $n acksimeq S^{1/\alpha}/\ln S$，并表明该估计器在 $n\ln n$ 个样本下的性能等价于 MLE，显著提升了熵和互信息估计的精度与速度。

ABSTRACT

We propose a general methodology for the construction and analysis of minimax estimators for a wide class of functionals of finite dimensional parameters, and elaborate on the case of discrete distributions, where the alphabet size $S$ is unknown and may be comparable with the number of observations $n$. We treat the respective regions where the functional is nonsmooth and smooth separately. In the nonsmooth regime, we apply an unbiased estimator for the best polynomial approximation of the functional whereas, in the smooth regime, we apply a bias-corrected Maximum Likelihood Estimator (MLE). We illustrate the merit of this approach by thoroughly analyzing two important cases: the entropy $H(P) = \sum_{i = 1}^S -p_i \ln p_i$ and $F_\alpha(P) = \sum_{i = 1}^S p_i^\alpha,\alpha>0$. We obtain the minimax $L_2$ rates for estimating these functionals. In particular, we demonstrate that our estimator achieves the optimal sample complexity $n \asymp S/\ln S$ for entropy estimation. We also show that the sample complexity for estimating $F_\alpha(P),0<\alpha<1$ is $n\asymp S^{1/\alpha}/ \ln S$, which can be achieved by our estimator but not the MLE. For $1<\alpha<3/2$, we show the minimax $L_2$ rate for estimating $F_\alpha(P)$ is $(n\ln n)^{-2(\alpha-1)}$ regardless of the alphabet size, while the $L_2$ rate for the MLE is $n^{-2(\alpha-1)}$. For all the above cases, the behavior of the minimax rate-optimal estimators with $n$ samples is essentially that of the MLE with $n\ln n$ samples. We highlight the practical advantages of our schemes for entropy and mutual information estimation. We demonstrate that our approach reduces running time and boosts the accuracy compared to existing various approaches. Moreover, we show that the mutual information estimator induced by our methodology leads to significant performance boosts over the Chow--Liu algorithm in learning graphical models.

研究动机与目标

• 为未知字母表大小 $S$ 的离散分布泛函开发一种通用的极小极大估计方法。
• 解决当 $S$ 与观测样本数 $n$ 相当时估计泛函的挑战。
• 推导关键泛函（如熵 $H(P)$ 和 $F_\alpha(P) = \sum p_i^\alpha$）的极小极大 $L_2$ 速率。
• 证明所提出的估计器在 $n$ 个样本下的性能等价于 MLE 在 $n\ln n$ 个样本下的性能，从而提升计算效率与精度。
• 将该框架应用于互信息估计，表明其在图模型学习中优于 Chow–Liu 算法。

提出的方法

• 对于非光滑泛函，采用基于泛函最佳多项式逼近的无偏估计器。
• 对于光滑泛函，应用偏差校正的极大似然估计器（MLE）。
• 将分析划分为光滑与非光滑区域，以相应地定制估计策略。
• 通过理论分析建立所提估计器的极小极大 $L_2$ 风险界。
• 利用集中与逼近理论控制高维离散分布中的偏差与方差。
• 证明该估计器在 $n$ 个样本下的行为在 $L_2$ 风险上等价于 MLE 在 $n\ln n$ 个样本下的行为。

实验结果

研究问题

• RQ1 当字母表大小 $S$ 未知且与 $n$ 相当时，估计熵 $H(P)$ 的极小极大 $L_2$ 速率是多少？
• RQ2 为实现 $F_\alpha(P)$ 估计的极小极大最优性，所需样本复杂度是多少（$0 < \alpha < 1$）？
• RQ3 对于 $1 < \alpha < 3/2$ 的 $F_\alpha(P)$，所提估计器在样本效率与 $L_2$ 风险方面与 MLE 相比如何？
• RQ4 所提框架能否在图模型学习中提升互信息估计性能，相比 Chow–Liu 算法？
• RQ5 所提估计器在多大程度上等价于 MLE 在 $n\ln n$ 个样本下的性能？

主要发现

• 所提估计器在样本复杂度 $n \asymp S / \ln S$ 下实现了熵估计的极小极大 $L_2$ 速率。
• 对于 $0 < \alpha < 1$ 的 $F_\alpha(P)$，极小极大速率在 $n \asymp S^{1/\alpha} / \ln S$ 下实现，该复杂度无法被 MLE 达成。
• 对于 $1 < \alpha < 3/2$，$F_\alpha(P)$ 的极小极大 $L_2$ 速率是 $(n\ln n)^{-2(\alpha-1)}$，而 MLE 仅能达到 $n^{-2(\alpha-1)}$。
• 所提估计器在 $n$ 个样本下的行为在 $L_2$ 风险上基本等价于 MLE 在 $n\ln n$ 个样本下的行为。
• 与现有方法相比，该方法显著降低了运行时间并提升了熵和互信息估计的精度。
• 基于该框架导出的互信息估计器在图模型学习中显著优于 Chow–Liu 算法。