[论文解读] Optimal Confidence Regions for the Multinomial Parameter

Matthew Malloy, Ardhendu Tripathy+1 more|arXiv (Cornell University)|Feb 3, 2020

Advanced Bandit Algorithms Research参考文献 23被引用 6

一句话总结

本文通过将Clopper-Pearson区间推广至$k$类分布，提出了多项分布参数的最小体积置信区域。通过尾概率的水平集反演方法，证明了这些区域在所有真实参数或均匀先验下实现了最小平均体积，从而在均值等线性泛函上获得更紧的置信区间，在自适应学习算法中可实现数倍的样本节省。

ABSTRACT

Construction of tight confidence regions and intervals is central to statistical inference and decision making. This paper develops new theory showing minimum average volume confidence regions for categorical data. More precisely, consider an empirical distribution $\widehat{\boldsymbol{p}}$ generated from $n$ iid realizations of a random variable that takes one of $k$ possible values according to an unknown distribution $\boldsymbol{p}$. This is analogous to a single draw from a multinomial distribution. A confidence region is a subset of the probability simplex that depends on $\widehat{\boldsymbol{p}}$ and contains the unknown $\boldsymbol{p}$ with a specified confidence. This paper shows how one can construct minimum average volume confidence regions, answering a long standing question. We also show the optimality of the regions directly translates to optimal confidence intervals of linear functionals such as the mean, implying sample complexity and regret improvements for adaptive machine learning algorithms.

研究动机与目标

• 解决长期存在的开放问题：为多项分布构造具有保证覆盖概率和最小体积的置信区域。
• 将Clopper-Pearson精确区间方法扩展至$k > 2$类，推广至单纯形空间。
• 证明最小体积置信区域可为均值等线性泛函提供最优（最短）置信区间。
• 通过利用更紧的置信边界，降低自适应学习算法中的样本复杂度和遗憾。
• 提供一种计算上可行的方法，通过$p$-值和Kullback-Leibler散度近似来构建这些区域。

提出的方法

• 通过水平集方法反演尾概率构造置信区域，确保对所有真实参数$\boldsymbol{p}$实现精确覆盖。
• 将置信区域定义为所有参数$\boldsymbol{p}$的集合，使得观测到的经验分布$\widehat{\boldsymbol{p}}$在显著性水平$1 - \delta$下不具有统计显著性。
• 通过证明任意置信区域均可表示为集合映射的反演，且水平集构造在此类中为最小，从而证明其最优性。
• 使用均匀先验或对经验结果取平均来定义平均体积准则，确立最小平均体积为最优性准则。
• 通过$\chi^2$检验$p$-值和Kullback-Leibler散度边界推导出计算高效的近似方法，以加速计算。
• 将最小体积区域应用于推导线性泛函（如均值）的置信区间，证明其比Hoeffding、Bernstein和KL-based边界更紧。

实验结果

研究问题

• RQ1 能否在保证精确覆盖的前提下，构造出平均体积最小的多项分布参数置信区域？
• RQ2 作为Clopper-Pearson方法的扩展，水平集方法在所有可能的经验结果下是否在平均体积上达到最优？
• RQ3 最小体积置信区域是否能为均值等线性泛函提供比现有边界更短的置信区间？
• RQ4 这些最优置信区域能否在多臂赌博机等序列学习算法中降低样本复杂度或遗憾？
• RQ5 何种计算策略可使中等规模$n$和$k$下的最小体积置信区域构造在计算上可行？

主要发现

• 水平集置信区域在所有满足覆盖保证的置信区域构造中，具有最小的平均体积，因此是最优的。
• 所提区域的平均体积严格小于Hoeffding、Bernstein和KL-based边界的平均体积，尤其当真实分布呈偏态时更为显著。
• 由这些区域导出的均值置信区间在平均意义上比任何已知构造（包括经验Bernstein和Chernoff边界）更短。
• 在五只三分类臂的最佳臂识别实验中，与基线置信边界相比，所提方法将停止时间减少了数倍。
• 在实现目标置信区间宽度时，该方法所需样本数显著减少——最多可减少数倍，尤其在方差较小时更为明显。
• 使用$\chi^2$检验的$p$-值和KL散度边界可实现高效计算，同时保持理论覆盖保证。