[论文解读] On the Non-asymptotic and Sharp Lower Tail Bounds of Random Variables

Anru R. Zhang, Yuchen Zhou|arXiv (Cornell University)|Oct 21, 2018

Statistical Methods and Inference参考文献 28被引用 4

一句话总结

本文提出了系统化、用户友好的方法，用于推导随机变量的非渐近且精确的下尾界，特别针对独立的次高斯和次指数随机变量之和。该文建立了与经典 Hoeffding- 和 Bernstein- 类型不等式相匹配的上下界，引入了针对二项分布和泊松分布等分布的新颖反向 Chernoff-Cramèr 不等式，从而在高维设置下实现紧密的统计推断。

ABSTRACT

The non-asymptotic tail bounds of random variables play crucial roles in probability, statistics, and machine learning. Despite much success in developing upper bounds on tail probability in literature, the lower bounds on tail probabilities are relatively fewer. In this paper, we introduce systematic and user-friendly schemes for developing non-asymptotic lower bounds of tail probabilities. In addition, we develop sharp lower tail bounds for the sum of independent sub-Gaussian and sub-exponential random variables, which match the classic Hoeffding-type and Bernstein-type concentration inequalities, respectively. We also provide non-asymptotic matching upper and lower tail bounds for a suite of distributions, including gamma, beta, (regular, weighted, and noncentral) chi-square, binomial, Poisson, Irwin-Hall, etc. We apply the result to establish the matching upper and lower bounds for extreme value expectation of the sum of independent sub-Gaussian and sub-exponential random variables. A statistical application of signal identification from sparse heterogeneous mixtures is finally considered.

研究动机与目标

• 解决概率与统计中非渐近且精确的下尾界稀缺的问题，尤其是相对于已充分发展的上尾理论而言。
• 为有限样本设置下广泛随机变量的下尾界推导，开发系统化且实用的方案。
• 为伽马分布、贝塔分布、卡方分布（常规、加权、非中心）、二项分布、泊松分布以及 Irwin-Hall 分布等关键分布建立匹配的上下尾界。
• 为独立次高斯和次指数随机变量之和的极值期望推导精确的下界。
• 在高维问题中实现改进的统计推断，例如从稀疏异质混合物中识别信号。

提出的方法

• 引入反向 Chernoff-Cramèr 不等式（引理 1），通过矩生成函数性质与共轭凸分析推导精确的下尾界。
• 利用泰勒展开与指数矩界控制次高斯和次指数随机变量的矩生成函数，确立类次高斯尾部行为。
• 应用倾斜变换与对数凹性假设，为具有重尾或轻尾的独立随机变量之和推导下界。
• 通过概率质量函数分析为二项分布和泊松等离散分布构造下界，确保其紧致性与已知上界相匹配。
• 结合 Chernoff-Cramèr 方法与反向不等式，推导出与经典集中不等式渐近衰减率一致的下尾界。
• 利用凸性与次高斯矩条件，推导出即使在小样本量下也非渐近且精确的下尾界。

实验结果

研究问题

• RQ1 如何系统化地推导一般随机变量的精确非渐近下尾界，尤其是在上界已充分建立的情况下？
• RQ2 能否为独立次高斯和次指数随机变量之和发展出与 Hoeffding- 和 Bernstein- 类型上界相匹配的下界？
• RQ3 对于经典分布如二项分布、泊松分布、伽马分布、贝塔分布和卡方分布，最紧致的下尾界是什么？
• RQ4 如何构建并应用反向 Chernoff-Cramèr 不等式于二项分布和泊松分布等离散分布，以实现精确性？
• RQ5 匹配的上下尾界对极值期望及稀疏异质混合物中信号检测有何影响？

主要发现

• 本文为独立次高斯随机变量之和建立了与 Hoeffding- 类型上界相匹配的精确下尾界，其指数衰减率一致。
• 对于次指数和，推导出的下界与 Bernstein- 类型上界相匹配，证实了该集中不等式框架在两个方向上的紧致性。
• 推导出反向 Chernoff-Cramèr 不等式，并证明其在离散分布（尤其是二项分布和泊松分布）中有效，实现了非渐近的下尾控制。
• 对于伽马分布、贝塔分布、卡方分布（常规、加权、非中心）、二项分布、泊松分布以及 Irwin-Hall 分布，本文首次提供了已知的精确非渐近下尾界。
• 证明了独立次高斯和次指数随机变量之和的极值期望可同时获得上下界，从而改进了尾部风险的量化。
• 通过一个统计应用展示了从稀疏异质混合物中识别信号的可行性，表明新界在高维设置下可实现更可靠的检测。