[论文解读] New Probabilistic Inequalities from Monotone Likelihood Ratio Property

Xinjia Chen|arXiv (Cornell University)|Oct 18, 2010

Statistical Mechanics and Entropy参考文献 6被引用 4

一句话总结

本文提出了一种新颖的方法，通过利用单调似然比性质（MLRP）和Berry-Essen不等式，推导出更精确的概率不等式。该方法为学生t分布、F分布、超几何分布以及等待时间分布等分布的尾部概率建立了前所未有的紧致界，相较于指数族中的Chernoff-Hoeffding界，其指数衰减速率提高了约两倍。

ABSTRACT

In this paper, we propose a new approach for deriving probabilistic inequalities. Our main idea is to exploit the information of underlying distributions by virtue of the monotone likelihood ratio property and Berry-Essen inequality. Unprecedentedly sharp bounds for the tail probabilities of some common distributions are established.

研究动机与目标

• 为克服传统矩方法在处理矩生成函数难以计算的分布时，推导紧致尾部概率界方面的局限性。
• 通过单调似然比性质（MLRP）利用已知分布的结构特性，以获得更紧致的概率不等式。
• 为指数族及其他常见分布建立统一的尾部概率界框架。
• 在参数估计的置信区间构建与样本量确定中展示实际应用。

提出的方法

• 该方法利用单调似然比性质（MLRP），将似然比表示为充分统计量的非减函数，从而实现更紧致的尾部界。
• 通过定理1引入似然比界（LRB），其中尾部概率被有界于似然比函数与参考概率的乘积。
• 将Berry-Essen不等式与MLRP结合，以改进集中不等式，尤其优化了Chernoff-Hoeffding型不等式。
• 在第4节中，基于MLRP与渐近正态性，为指数族分布发展出统一理论。
• 该方法通过从尾部概率不等式导出的上下界，构建参数的置信区间。
• 通过尾部概率的对数渐近分析，评估样本量需求，与Chernoff定理建立关联。

实验结果

研究问题

• RQ1 是否可以系统性地利用单调似然比性质，推导出比经典矩方法更紧致的尾部概率界？
• RQ2 MLRP在多大程度上可改进现有Chernoff-Hoeffding界在指数族分布中的表现？
• RQ3 能否为学生t分布、F分布、超几何分布以及等待时间分布等矩生成函数难以处理的分布推导出紧致界？
• RQ4 新不等式在参数估计中的表现如何，特别是在置信区间构建与样本量确定方面？
• RQ5 与经典方法相比，新界下样本量需求的渐近行为如何？

主要发现

• 所提出的方法为学生t分布、F分布、超几何分布以及等待时间分布的尾部概率提供了前所未有的紧致界。
• 对于指数族分布，基于MLRP的界在尾部衰减速率上相比Chernoff-Hoeffding界提高了约两倍。
• 通过下界与上界构建的置信区间，其覆盖概率至少为1−δ，且两尾概率均被控制在δ/2以内。
• 给定置信水平δ时，所需样本量N_a(δ)与经典界N_b(δ)的渐近阶相同，且满足lim_{δ→0} N_a(δ)/N_b(δ) = 1。
• 通过尾部概率的对数极限，建立了新方法与经典方法在样本量需求上的渐近等价性。
• 该方法仅依赖于分布结构与MLRP的初等知识，即可实现紧致置信区间，而无需依赖矩生成函数。