[论文解读] Subgaussian and strictly subgaussian random variable

E. Ostrovsky, L. Sirota|arXiv (Cornell University)|Jun 16, 2014

Image and Signal Denoising Methods参考文献 16被引用 4

一句话总结

本文引入并分析了严格子高斯（SSub）随机变量——即子高斯范数等于标准差的子高斯变量——为独立但不一定同分布的SSub随机变量之和提供了精确的指数尾部界限。主要贡献在于证明了SSub随机变量的混合仍保持严格子高斯性，并通过伽马函数不等式与矩生成函数分析推导出严格子高斯性的新充分条件。

ABSTRACT

We study in this report the so-called Strictly Subgaussian (SSub) random variables (r.v.), which form a very interest subclass of Subgaussian (Sub) r.v., and obtain the exact exponential bounds for tail of distribution for sums of independent and disjoint such a variables, not necessary to be identical distributed, and give some new examples of SSub variables to show the exactness of our estimates. We extend also these results on the case of sums of subgaussian martingale differences, and show that the mixture of (Strictly) Subgaussian r.v. forms also (Strictly) subgaussian variable.

研究动机与目标

• 定义并表征严格子高斯（SSub）随机变量作为子高斯随机变量的一个子类，其子高斯范数等于标准差。
• 为独立但不一定同分布的SSub随机变量之和推导出尖锐的指数尾部界限。
• 将结果扩展至子高斯鞅差之和，并建立在混合下的封闭性。
• 提供新的、精确的SSub随机变量实例，包括对称伽马分布与均匀-高斯混合，以展示所推导界限的紧致性。

提出的方法

• 通过条件定义SSub随机变量：对所有 $\lambda \in \mathbb{R}$，有 $\mathbb{E}[e^{\lambda \xi}] \leq e^{\lambda^2 \sigma^2(\xi)/2}$，该条件蕴含 $||\xi||_{\text{Sub}} = \sigma(\xi)$。
• 利用矩生成函数分析与斯特林近似，通过伽马函数比值推导出严格子高斯性的充分条件。
• 通过子高斯范数建立尾部界限，证明对于独立SSub随机变量之和，有 $\max(\mathbb{P}(S(n)/\Sigma(n) > x), \mathbb{P}(S(n)/\Sigma(n) < -x)) \leq e^{-x^2/2}$。
• 通过在凸组合下验证MGF条件，证明SSub随机变量的混合仍保持SSub性质。
• 分析特定分布：对称贝塔分布、对称化伽马分布及均匀-高斯混合，利用积分表示与伽马函数的渐近行为。
• 使用函数 $\zeta_{\alpha,\beta}(k)$ 检验子高斯性，证明当 $\beta > 2$ 时，若对所有 $k$ 有 $\zeta_{\alpha,\beta}(k) \leq 1$，则满足严格子高斯性。

实验结果

研究问题

• RQ1 在何种条件下，一个子高斯随机变量是严格子高斯的，即其子高斯范数等于其标准差？
• RQ2 对于独立但不一定同分布的严格子高斯随机变量之和，其精确指数尾部界限为何？
• RQ3 严格子高斯随机变量类是否在混合下封闭？若是，其条件为何？
• RQ4 对称伽马分布成为严格子高斯的必要与充分条件是什么？其与形状和尺度参数的关系如何？
• RQ5 如何通过显式实例（包括具有无界支撑的分布）证明尾部界限 $e^{-x^2/2}$ 的紧致性？

主要发现

• 对于中心化随机变量 $\xi_p$，满足 $\mathbb{P}(\xi_p = 1-p) = p$，$\mathbb{P}(\xi_p = -p) = 1-p$，其子高斯范数为 $||\xi_p||_{\text{Sub}} = \sqrt{\frac{1-2p}{2\ln((1-p)/p)}}$，为离散SSub随机变量提供了精确表达式。
• 对于任意SSub随机变量 $\xi$，有尾部界限 $\max(\mathbb{P}(\xi > x), \mathbb{P}(\xi < -x)) \leq e^{-x^2/(2\sigma^2(\xi))}$，且该界限是尖锐的，在高斯情况下可趋近等号。
• 独立SSub随机变量之和 $S(n) = \sum_{i=1}^n \xi(i)$ 满足 $\max(\mathbb{P}(S(n)/\Sigma(n) > x), \mathbb{P}(S(n)/\Sigma(n) < -x)) \leq e^{-x^2/2}$，其中 $\Sigma(n)^2 = \sum_{i=1}^n ||\xi(i)||_{\text{Sub}}^2$，表明具有最优集中性。
• SSub随机变量的混合仍保持严格子高斯性，该结论通过MGF条件及指数函数的凸性得以证明。
• 对于对称伽马随机变量 $\gamma_{\alpha,\beta}$（$\beta > 2$），若对所有 $k \geq 1$ 有 $\zeta_{\alpha,\beta}(k) \leq 1$，则其为严格子高斯；一个充分条件为：令 $G = [(\max(1,G_1)) \cdot G_2]^{\beta/\beta-2)}$，则当 $k \geq G$ 时有 $\zeta_{\alpha,\beta}(k) \leq 1$。
• 当 $\alpha = \beta \to \infty$ 时，有 $\sup_{k \geq 1} \zeta_{\beta,\beta}(k) \to 0$，表明当 $\beta$ 足够大时，$\gamma_{\beta,\beta}$ 为严格子高斯，从而构造出一个非高斯、具有无界支撑的SSub随机变量实例。