[论文解读] Multivariate Normal Approximation by Stein's Method: The Concentration Inequality Approach

Louis H. Y. Chen, Xiao Fang|arXiv (Cornell University)|Nov 17, 2011

Random Matrices and Applications参考文献 21被引用 27

一句话总结

该论文将 Stein 方法的集中不等式方法扩展至多变量正态近似，为独立的 $k$-维随机向量和提供了 $k^{1/2}\gamma$ 阶的维度依赖误差界，其中 $γ = \sum_{i=1}^n \mathbb{E}|X_i|^3$。此外，该研究还建立了对局部依赖向量的界，分别在四阶和三阶矩条件下实现了 $O_k(1/\sqrt{n})$ 和 $O_k(\log n / \sqrt{n})$ 的误差率。

ABSTRACT

The concentration inequality approach for normal approximation by Stein's method is generalized to the multivariate setting. We use this approach to prove a non-smooth function distance for multivariate normal approximation for standardized sums of $k$-dimensional independent random vectors $W=\sum_{i=1}^n X_i$ with an error bound of order $k^{1/2}γ$ where $γ=\sum_{i=1}^n E|X_i|^3$. For sums of locally dependent (unbounded) random vectors, we obtain a fourth moment bound which is typically of order $O_k(1/\sqrt{n})$, as well as a third moment bound which is typically of order $O_k(\log n/\sqrt{n})$.

研究动机与目标

• 将 Stein 方法的集中不等式方法推广至非光滑函数距离的多变量情形。
• 为独立 $k$-维随机向量标准化和的多变量正态近似推导显式误差界。
• 将该框架扩展至局部依赖的随机向量，在有限三阶与四阶矩条件下提供误差界。
• 改进文献中已有的维度依赖误差率，特别是针对凸集指示函数等非光滑函数距离。

提出的方法

• 利用距离函数的几何性质，为和 $W = \sum_{i=1}^n X_i$ 落在凸集 $A$ 的 $\epsilon$-邻域内的概率建立多变量集中不等式。
• 通过基于方向导数的分析方法控制 $W$ 在 $A^\epsilon$ 边界附近的行为，研究距离函数 $f_i(x)$。
• 将集中不等式应用于有界 $\mathbb{P}(W \in A)$ 与 $\mathbb{P}(Z \in A)$ 之间的差异，导出以 $k^{1/2}\gamma$ 表示的误差界。
• 利用算子范数与欧氏范数分析依赖结构，并在局部依赖条件下推导误差界。
• 通过投影与超平面的几何论证控制不同方向上距离函数的变化，从而建立误差界。
• 通过利用矩条件与依赖图结构，将该框架应用于局部依赖随机向量的和。

实验结果

研究问题

• RQ1 能否将 Stein 方法的集中不等式方法推广至非光滑函数距离的多变量情形？
• RQ2 使用该方法时，独立 $k$-维随机向量和的多变量正态近似，其最优维度依赖误差界为何？
• RQ3 该方法如何扩展至处理局部依赖的随机向量？在有限矩条件下可导出何种误差界？
• RQ4 与文献中已有结果相比，该方法中维度的 $k^{1/2}$ 依赖关系有何优势？

主要发现

• 对于均值为零、协方差矩阵为单位阵的独立 $k$-维随机向量和，多变量正态近似的误差界为 $O(k^{1/2}\gamma)$，其中 $\gamma = \sum_{i=1}^n \mathbb{E}|X_i|^3$。
• 对于 $\mathbb{R}^k$ 中的凸集 $A$，有不等式 $\mathbb{P}(W \in A^{4\gamma + \epsilon} \setminus A^{4\gamma}) \leq 4.1k^{1/2}\epsilon + 39k^{1/2}\gamma$ 成立，这构成了关键的集中不等式。
• 对于局部依赖的随机向量，该方法在四阶矩条件下得到 $O_k(1/\sqrt{n})$ 阶的误差界，在三阶矩条件下得到 $O_k(\log n / \sqrt{n})$ 阶的误差界。
• 与先前文献中 $k^{5/2}$、$k^{3/2}$ 或 $k$ 依赖的误差率相比，$k^{1/2}$ 的维度依赖关系有所改进，尽管 $k^{1/4}$（如 Bentkus, 2005 所示）仍更优。
• 该方法适用于具有图依赖结构的问题，以及 i.i.d. 序列中部分乘积的联合分布，展现出广泛适用性。
• 该方法避免了先前工作中使用的归纳技术，在归纳不可行的依赖结构中提供了新路径。