[论文解读] Stein's method and the Laplace distribution

John Pike, Haining Ren|arXiv (Cornell University)|Oct 21, 2012

Random Matrices and Applications参考文献 23被引用 55

一句话总结

本文提出了一种基于二阶特征算子和类似零偏化的分布变换的正态分布的 Stein 方法框架，用于拉普拉斯分布的近似，实现了对均值为零的随机变量和的拉普拉斯近似误差界。该研究建立了几何和的 Berry-Esseen 型定理，通过矩和与平衡分布的距离量化收敛速度。

ABSTRACT

Using Stein's method techniques, we develop a framework which allows one to bound the error terms arising from approximation by the Laplace distribution and apply it to the study of random sums of mean zero random variables. As a corollary, we deduce a Berry-Esseen type theorem for the convergence of certain geometric sums. Our results make use of a second order characterizing equation and a distributional transformation which is related to zero-biasing.

研究动机与目标

• 将 Stein 方法扩展至使用二阶特征算子的拉普拉斯分布。
• 为拉普拉斯近似开发一种类似于零偏化的分布变换。
• 推导随机和近似为拉普拉斯分布的定量误差界。
• 为收敛至拉普拉斯律的几何和建立 Berry-Esseen 型定理。
• 以矩和与平衡分布的距离来量化几何和近似中的收敛速度。

提出的方法

• 定义二阶 Stein 算子为 $(\mathcal{A}f)(x) = f(x) - f(0) - b^2 f''(x)$，其特征刻画了均值为零、尺度为 $b$ 的拉普拉斯分布。
• 该方法采用有界利普希茨距离 $d_{BL}$ 来度量分布之间的距离。
• 引入中心化的平衡变换 $X \mapsto X^L$，以关联和的分布与其平衡对应分布之间的关系。
• 通过分析 $\mathbb{E}|X_M - X_M^L|$ 和 $\mathbb{E}|N - M|^{1/2}$ 推导误差界，其中 $M$ 是 $N$ 的平衡版本。
• 该方法利用矩条件（包括有界三阶绝对矩）来控制近似误差。
• 将该框架应用于几何和 $p^{1/2} \sum_{i=1}^N X_i$，其中 $N \sim \text{Geometric}(p)$，以推导收敛速度。

实验结果

研究问题

• RQ1 能否使用二阶微分算子将 Stein 方法适配至拉普拉斯分布？
• RQ2 如何为拉普拉斯分布构造一种类似于零偏化的分布变换？
• RQ3 可为随机和近似为拉普拉斯分布推导出何种误差界？
• RQ4 矩条件和平衡变换如何影响几何和近似中的收敛速度？
• RQ5 均值为零的 i.i.d. 随机变量的几何和向拉普拉斯律收敛的定量收敛速度是多少？

主要发现

• 本文建立了刻画尺度为 $b$ 的均值为零拉普拉斯分布的二阶 Stein 算子。
• 对于具有共同方差 $2b^2$ 和一致有界三阶矩 $\rho$ 的 i.i.d. 和项，有界利普希茨距离下的收敛速度被限制为 $\left(p^{1/2} + \frac{2p^{1/2}}{b}\right)\left(b\sqrt{2} + \frac{\rho}{6b^2}\right)$。
• 误差界依赖于 $\mathbb{E}|X_N - X_N^L|$，该量通过矩条件和平衡变换得到控制。
• 项 $\mathbb{E}|N - M|^{1/2}$ 衡量了 $\mathscr{L}(N)$ 与几何分布的距离，将误差界与随机指标的分布接近度联系起来。
• 当和项为 i.i.d. 拉普拉斯分布时，归一化和 $p^{1/2} \sum_{i=1}^N X_i$ 恰好服从拉普拉斯分布，验证了界值的紧致性。
• 该框架为几何和提供了 Berry-Esseen 型定理，将 Rényi 的结果推广至非正和项及非同分布的情形。