[论文解读] Multivariate Concentration Inequalities with Size Biased Couplings

Subhankar Ghosh, Ümi̇t Işlak|arXiv (Cornell University)|Oct 21, 2013

Stochastic processes and statistical mechanics参考文献 9被引用 4

一句话总结

本文通过大小偏倚耦合方法，为具有有限非零方差的非负随机向量建立了多变量浓度不等式。通过构建限制原向量与耦合向量之间差值的L2范数的大小偏倚耦合，作者推导出上下尾的紧致尾部界限，推广了单变量结果，并可应用于局部依赖系统和随机排列中的模式计数，给出明确的浓度速率。

ABSTRACT

Let $\mathbf{W}=(W_1,W_2,...,W_k)$ be a random vector with nonnegative coordinates having nonzero and finite variances. We prove concentration inequalities for $\mathbf{W}$ using size biased couplings that generalize the previous univariate results. Two applications on local dependence and counting patterns are provided.

研究动机与目标

• 将单变量大小偏倚耦合技术推广至依赖随机向量的多变量设置。
• 为依赖随机变量的多变量泛函推导非渐近浓度不等式。
• 通过在下尾部移除单调性假设，提供比以往工作更紧致的尾部界限。
• 将该框架应用于两个具体问题：局部依赖的随机变量和随机排列中的模式计数。
• 通过耦合范数与方差参数建立显式的浓度速率。

提出的方法

• 定义一个多变量大小偏倚耦合，其中对每个分量 $W_i$，耦合向量 $\mathbf{W}^i$ 满足 $\mathbb{E}[W_i f(\mathbf{W})] = \mu_i \mathbb{E}[f(\mathbf{W}^i)]$，对所有合适的函数 $f$ 成立。
• 假设 $\|\mathbf{W}^i - \mathbf{W}\|_2 \leq K$，其中 $K > 0$ 为某常数，以限制耦合偏差。
• 基于归一化偏差 $\frac{\mathbf{W} - \boldsymbol{\mu}}{\boldsymbol{\sigma}}$，利用由 $K$、$\sigma_{(1)}$ 和 $\|\boldsymbol{\mu}/\boldsymbol{\sigma}\|_2$ 导出的 $K_1$ 和 $K_2$，推导 $\mathbf{W}$ 的上下尾界限。
• 使用矩生成函数条件 $\mathbb{E}[e^{\boldsymbol{\theta}^t \mathbf{W}}] < \infty$，当 $\|\boldsymbol{\theta}\|_2 \leq 2/K$ 时，确保可积性。
• 为两个应用构建显式耦合：通过滑动窗口实现的局部依赖，以及通过排列重排实现的随机排列中的模式计数。
• 通过组合论证验证耦合界限，表明在模式计数情况下 $\|\mathbf{W}^i - \mathbf{W}\|_2 \leq \sqrt{k}(2m-1)$。

实验结果

研究问题

• RQ1 大小偏倚耦合技术能否从单变量推广到依赖随机向量的多变量设置？
• RQ2 在比以往工作更弱的假设下，如何推导浓度不等式，特别是关于下尾部单调性的假设？
• RQ3 当耦合偏差在 $L^2$ 范数下有界时，多变量泛函的显式尾部界限是什么？
• RQ4 所推导的界限如何应用于局部依赖的随机变量和随机排列中的模式计数？
• RQ5 该框架能否在这些应用中产生比现有方法更紧致或更一般的浓度结果？

主要发现

• 本文建立了一个多变量浓度不等式，其下尾界限通过移除单调性条件，改进了 Ghosh 和 Goldstein (2015) 的结果。
• 对于上尾，界限为 $\mathbb{P}\left(\frac{\mathbf{W}-\boldsymbol{\mu}}{\boldsymbol{\sigma}} \succeq \mathbf{t}\right) \leq \exp\left(-\frac{\|\mathbf{t}\|_2^2}{2(K_1 + K_2\|\mathbf{t}\|_2)}\right)$，其中 $K_1 = \frac{2K}{\sigma_{(1)}}\left\|\frac{\boldsymbol{\mu}}{\boldsymbol{\sigma}}\right\|_2$ 且 $K_2 = \frac{K}{2\sigma_{(1)}}$。
• 对于下尾，界限为 $\mathbb{P}\left(\frac{\mathbf{W}-\boldsymbol{\mu}}{\boldsymbol{\sigma}} \preceq -\mathbf{t}\right) \leq \exp\left(-\frac{\|\mathbf{t}\|_2^2}{2K_1}\right)$，相比单变量情形通过移除单调性条件实现改进。
• 在局部依赖设定中，耦合范数被限制为 $K = \sqrt{b}M$，其中 $b$ 为最大重叠变量数，$M$ 为最大单个跳跃大小。
• 对于随机排列中的模式计数，耦合范数被限制为 $\|\mathbf{W}^i - \mathbf{W}\|_2 \leq \sqrt{k}(2m-1)$，从而可显式表达 $K_1$ 和 $K_2$ 关于 $m$、$n$ 和 $k$ 的形式。
• 方差下界 $\sigma_{(1)}^2 \geq \frac{n}{m!}\left(1 - \frac{2m-1}{m!}\right)$ 允许在 $K_1$ 和 $K_2$ 中使用更大的常数，确保界限定义良好。