[论文解读] On the Bennett-Hoeffding inequality

Iosif Pinelis|arXiv (Cornell University)|Feb 24, 2009

Probability and Risk Models参考文献 38被引用 4

一句话总结

本论文通过引入截断的三阶矩并用更广泛的广义矩函数类替代经典界中使用的指数函数类，对独立、有界、零均值随机变量之和的 Bennett-Hoeffding 不等式进行了改进。该广义矩函数类具有单调递增、严格凸性及二阶导数凸的性质。所得界比现有界更紧，尤其在偏度较低时优势显著，并展现出最优性特征。该方法可推广至鞅和上鞅过程。

ABSTRACT

The well-known Bennett-Hoeffding bound for sums of independent random variables is refined, by taking into account truncated third moments, and at that also improved by using, instead of the class of all increasing exponential functions, the much larger class of all generalized moment functions f such that f and f" are increasing and convex. It is shown that the resulting bounds have certain optimality properties. Comparisons with related known bounds are given. The results can be extended in a standard manner to (the maximal functions of) (super)martingales.

研究动机与目标

• 通过引入超越方差的高阶矩信息，改进经典的 Bennett-Hoeffding 不等式。
• 为独立、有界随机变量之和的尾部概率 P(S ≥ x) 构建更紧致的上界。
• 用更大类别的广义矩函数替代对指数函数的严格限制，同时保持凸性与单调性。
• 在固定方差与偏度参数下，建立新界之最优性特征。
• 通过标准概率论技术，将改进后的界推广至（上）鞅过程。

提出的方法

• 引入一类新函数 f，满足 f 与 f'' 均为单调递增且严格凸，从而推广经典界中使用的指数函数。
• 通过引入截断三阶矩 β⁺₃ = Σ E[(Xᵢ)₃⁺]，推导出 E[e^{λS}] 的改进上界。
• 构造新尾部界 PU(x) = inf_{λ>0} exp(-λx) × PUexp(λ)，其中 PUexp(λ) 包含一个涉及 ε = β⁺₃ / (σ²y) 的校正项。
• 采用变分法在 λ > 0 上最小化尾部界，利用广义矩函数的结构特性。
• 通过标准鞅技巧将该方法推广至（上）鞅过程。
• 利用解析与符号计算（通过 Mathematica）在多种参数区域验证关键表达式的正定性，确保界的有效性。

实验结果

研究问题

• RQ1 能否通过引入超越方差的三阶矩信息，改进 Bennett-Hoeffding 界？
• RQ2 用更广泛的广义矩函数类替代指数函数，是否能获得更紧致且更优的尾部界？
• RQ3 与经典界相比，新界在大偏差区域的渐近行为如何？
• RQ4 在固定方差与偏度参数下，新界的最优性结构为何？
• RQ5 能否将改进后的界推广至具有相似紧致性的（上）鞅过程？

主要发现

• 对所有 x ≥ 0，新界 PU(x) 严格优于经典 Bennett-Hoeffding 界 BH(x)，当 ε = β⁺₃ / (σ²y) ≪ 1 时改进尤为显著。
• 当 λ、y、σ² 与 ε 固定时，PUexp(λ) 是 E[e^{λS}] 的精确上界，表明其在该参数集下具有最优性。
• 在 x 较大时，新界恢复了经典指数界所缺失的 1/x 因子，通过恢复正确的尾部衰减速率，优于正态近似。
• 界 Ea(x) = inf_{t∈(0,x)} E[(|Z|−t)₃⁺]/(x−t)³ 在 Eaton 型比较不等式下，为 P(|S| ≥ x) 提供了最优可能的上界。
• 该方法可推广至（上）鞅过程，同时保持界之紧致性与最优性。
• 通过 Mathematica 进行的符号验证确认了所有参数区域下关键表达式的正定性，验证了分析推导的正确性。