[论文解读] On rates of convergence and Berry-Esseen bounds for random sums of centered random variables with finite third moments

Christian Döbler|arXiv (Cornell University)|Dec 21, 2012

Point processes and geometric inequalities参考文献 1被引用 4

一句话总结

本文利用经典的 Berry-Esseen 定理，为具有有限三阶矩的独立同分布或非同分布中心化随机变量的随机和，建立了收敛速率。在 Wasserstein 距离和 Kolmogorov 距离下，推导了正态分布和 Laplace 分布近似下的显式界。关键贡献是：对于收敛到 Laplace 分布的几何和，得到了 $\tilde{O}(\frac{1}{\tilde{p}})$ 的 Berry-Esseen 估计，当 $p$ 固定时，该速率与 i.i.d. 情况下的最优速率一致。

ABSTRACT

We show, how the classical Berry-Esseen theorem for normal approximation may be used to derive rates of convergence for random sums of centerd, real-valued random variables with respect to a certain class of probability metrics, including the Kolmogorov and the Wasserstein distances. This technique is applied to several examples, including the approximation by a Laplace distribution of a geometric sum of centered random variables with finite third moment, where a concrete Berry-Esseen bound is derived. This bound reduces to a bound of the supposedly optimal order $\sqrt{p}$ in the i.i.d. case.

研究动机与目标

• 推导具有有限三阶矩的中心化随机变量随机和的定量收敛速率。
• 将经典的 Berry-Esseen 定理推广到以几何、泊松和二项分布等为索引的随机和。
• 在 Wasserstein 距离和 Kolmogorov 距离下，提供随机和近似为正态或 Laplace 分布的显式误差界。
• 在 i.i.d. 几何和情形下，恢复已知最优的 $\tilde{O}(1/\tilde{p}})$ 收敛速率，与已知最优界一致。

提出的方法

• 使用经典的 Berry-Esseen 定理，通过给定 $N$ 的条件，对归一化和 $W = \frac{1}{\tilde{\nu}}\tilde{\tilde{}}$ 与正态分布之间的条件距离进行有界。
• 应用三角不等式，将总距离分解为两部分：从 $W$ 到条件正态分布的距离，以及从条件正态分布到目标极限分布的距离。
• 利用矩条件和三阶绝对中心矩 $\xi_j = \mathbb{E}[|X_j|^3]$，推导 Wasserstein 距离和 Kolmogorov 距离的界。
• 将该方法应用于三种索引分布：几何分布、泊松分布和二项分布，对每种情况均推导出显式界。
• 使用条件方差 $s_N^2 = \mu^{-1} \sum_{j=1}^N \sigma_j^2$ 和全期望方差定律，将 $\mathrm{Var}(W)$ 表示为 $\mathbb{P}(N \geq j)$ 的函数。
• 通过条件正态近似引入类似耦合的论证，将已知的 Berry-Esseen 估计推广到随机和情形。

实验结果

研究问题

• RQ1 经典的 Berry-Esseen 定理能否被调整，以推导具有有限三阶矩的随机和的收敛速率？
• RQ2 对于收敛到 Laplace 分布的 i.i.d. 中心化随机变量的几何和，其显式收敛速率是什么？
• RQ3 收敛速率如何依赖于随机索引 $N$ 的分布（如几何、泊松、二项分布）？
• RQ4 几何和的推导速率是否最优？是否与已知的 $\tilde{O}(1/\tilde{p}})$ 最优速率一致？
• RQ5 该方法能否推广到非同分布的和项，同时保持紧密的误差界？

主要发现

• 对于具有有限三阶矩的 i.i.d. 中心化和项的几何和，本文推导出收敛到 Laplace 分布的 Berry-Esseen 估计为 $\tilde{O}(1/\tilde{p}})$，与 i.i.d. 情况下的最优速率一致。
• 几何和的 Wasserstein 距离界为 $d_{\mathcal{W}}(\mathcal{L}(W), \text{Laplace}) \leq C \cdot \frac{1}{\sqrt{p}}$，在适当归一化下，证实了其最优性。
• 对于 $N \sim \text{Poisson}(\lambda)$ 的泊松索引，界为 $O(1/\sqrt{\lambda}})$，并包含依赖于三阶矩和方差比的附加项。
• 对于二项分布索引 $N \sim \text{Binomial}(m,p)$，收敛速率为 $O(1/\sqrt{mp}})$，即使当 $p \to 0$ 时，只要 $mp \to \infty$，该结果依然成立，从而扩展了结果的适用范围。
• 该方法成功推广到非同分布的和项，其界依赖于经验方差和三阶矩比。
• 推导的界是紧的，并在特殊情形下恢复了已知的最优速率，例如当 $p=1$ 时（即 $N=m$ 几乎必然），恢复标准的 Berry-Esseen 界。