[论文解读] Small ball probabilities for linear images of high dimensional distributions

Mark Rudelson|arXiv (Cornell University)|Jan 1, 2014

Point processes and geometric inequalities参考文献 14被引用 1

一句话总结

本文建立了高维独立坐标随机向量线性像的小球概率界限。若输入向量每个坐标在长度为 t 的区间上的集中函数有界于 p，则线性变换 AX 在半径为 t\|A\|_{HS} 的球内集中概率至多为 (Cp)^{0.9 r(A)}，其中 r(A) 是 A 的稳定秩。关键贡献在于提出了一项精确、与维度无关的界限，推广了关于独立同分布随机变量之和及投影的经典结果，适用于任意线性像。

ABSTRACT

We study concentration properties of random vectors of the form $AX$, where $X = (X_1, ..., X_n)$ has independent coordinates and $A$ is a given matrix. We show that the distribution of $AX$ is well spread in space whenever the distributions of $X_i$ are well spread on the line. Specifically, assume that the probability that $X_i$ falls in any given interval of length $T$ is at most $p$. Then the probability that $AX$ falls in any given ball of radius $T \|A\|_{HS}$ is at most $(Cp)^{0.9 r(A)}$, where $r(A)$ denotes the stable rank of $A$ and $C$ is an absolute constant.

研究动机与目标

• 理解 AX 的集中性质，其中 X 具有独立坐标，A 为固定矩阵。
• 将关于独立同分布随机变量之和及投影的经典小球概率结果推广至任意线性变换。
• 量化输入分布的分散性（通过集中函数衡量）如何通过线性映射传播。
• 识别稳定秩 r(A) 作为控制 AX 小球概率衰减率的关键参数。
• 提供一种灵活、非渐近的界限，适用于连续及一般（离散或混合）分布。

提出的方法

• 使用集中函数 L(Z, t) = max_u P(\|Z - u\|_2 ≤ t) 来衡量小球概率。
• 应用 Rogozin 定理与 Ball 定理（关于立方体最大超平面截面）来界定独立随机变量之和的密度。
• 将矩阵 A 按奇异值分解为谱投影 P_l 的二进制分解，实现对 \|AX\|_2 的递归控制。
• 利用推论 1.4（集中函数的张量化）对投影 P_lX 的小范数概率进行界定。
• 推导出一个一般不等式 (8.4)：P(\|AX\|_2 ≤ M S_r(A)) ≤ (C M p)^r，其中 S_r(A) 是奇异值尾部的 l2-范数。
• 应用平滑化方法，通过卷积版本逼近，将结果从连续分布推广至一般分布。

实验结果

研究问题

• RQ1 具有独立坐标的高维随机向量的集中性如何通过线性变换 AX 传播？
• RQ2 小球概率 P(\|AX\|_2 ≤ t\|A\|_{HS}) 对矩阵 A 的稳定秩 r(A) 的最优依赖关系是什么？
• RQ3 能否将独立同分布随机变量之和的经典界限（例如，密度有界于 √2 K）推广至任意矩阵 A 的一般线性像？
• RQ4 单个坐标集中函数 L(X_i, t) ≤ p 如何影响变换后向量 AX 的集中性？
• RQ5 指数中的参数 ε 的精确依赖关系 (1−ε)r(A) 是什么？如何在实际应用中进行优化？

主要发现

• 对于坐标密度有界于 K 的连续分布，任意 d 维投影 PX 的密度几乎处处有界于 (CK)^d。
• 对于密度有界于 K 的独立随机变量之和，∑ a_j X_j（满足 ∑ a_j^2 = 1）的密度有界于 √2 K，且该界限是紧的。
• AX 的集中函数满足 L(AX, t\|A\|_{HS}) ≤ (Cε p)^{(1−ε)r(A)}，对任意 ε ∈ (0,1)，其中 r(A) 是 A 的稳定秩。
• 该界限与维度无关，并通过引入稳定秩作为关键缩放参数，改进了经典结果。
• 对于密度有界于 K 的分布，界限变为 L(AX, τ \|A\|) ≤ (CKτ)^{r(A)}，对任意 τ > 0，表明对小球半径的依赖关系无损失。
• 该结果在如下意义上是紧的：在无额外假设下，指数 (1−ε)r(A) 无法进一步改进，且常数 Cε = C/√ε 反映了 ε 与常数之间的权衡。