[论文解读] Tail bounds via generic chaining

Sjoerd Dirksen|arXiv (Cornell University)|Sep 13, 2013

Sparse and Compressive Sensing Techniques参考文献 23被引用 13

一句话总结

本文提出了一种改进的泛化链方法，可直接对随机过程上确界的全部 $p$-阶矩进行有界，从而实现最优偏差参数的精确尾部界限。该方法为无界和依赖的经验过程及混沌过程提供了改进的偏差不等式，并给出了子采样离散傅里叶变换的受限等距性质的简化证明。

ABSTRACT

We modify Talagrand's generic chaining method to obtain upper bounds for all p-th moments of the supremum of a stochastic process. These bounds lead to an estimate for the upper tail of the supremum with optimal deviation parameters. We apply our procedure to improve and extend some known deviation inequalities for suprema of unbounded empirical processes and chaos processes. As an application we give a significantly simplified proof of the restricted isometry property of the subsampled discrete Fourier transform.

研究动机与目标

• 开发一种直接通过泛化链推导随机过程上确界上尾界限的方法。
• 将泛化链扩展至估计上确界的全部 $p$-阶矩，而不仅限于期望。
• 为无界和依赖的经验过程及混沌过程提供精确的偏差不等式。
• 简化子采样离散傅里叶变换的受限等距性质（RIP）的证明。
• 回答 Talagrand 书中关于混合次高斯-次指数过程尾部界限的一个开放问题。

提出的方法

• 修改泛化链过程，以生成对 $\left(\mathbb{E}\sup_{t\in T}|X_t|^p\right)^{1/p}$ 的有界，其中 $p \geq 1$。
• 引入 $\gamma_2$-泛函的截断版本，记为 $\gamma_{2,p}$，以度量度量复杂性。
• 对 $p$-阶矩应用马尔可夫不等式，推导出具有最优偏差参数的尾部界限。
• 将该方法应用于增量呈指数衰减以及混合次高斯-次指数尾部的过程。
• 利用关于尾部概率和事件并集的辅助引理，以及次指数尾部的矩界限。
• 利用 $L^p$-有界性，推导出形如 $\mathbb{P}(\sup_t |X_t| \geq C\gamma_2(T,d) + uD\sigma) \leq e^{-u^2/2}$ 的尾部不等式，其中 $u \geq 1$。

实验结果

研究问题

• RQ1 能否将泛化链方法调整为直接有界随机过程上确界的全部 $p$-阶矩？
• RQ2 随机过程上确界尾部界限中的最优偏差参数是什么？能否通过泛化链实现？
• RQ3 该方法能否为无界或依赖的经验过程提供精确的尾部界限？
• RQ4 该方法能否简化或改进压缩感知中受限等距性质的现有证明？
• RQ5 该方法能否解决 Talagrand 所提出关于混合次高斯-次指数过程尾部界限的开放问题？

主要发现

• 本文建立了不等式 $\left(\mathbb{E}\sup_{t\in T}|X_t|^p\right)^{1/p} \leq C\gamma_{2,p}(T,d) + D\sigma\sqrt{p}$，适用于中心化的高斯过程，其中 $\sigma^2 = \sup_t \mathbb{E}(X_t^2)$。
• 推导出尾部界限：$\mathbb{P}(\sup_t |X_t| \geq \sqrt{e}(C\gamma_2(T,d) + uD\sigma)) \leq e^{-u^2/2}$，其中 $u \geq 1$，其精确度与已知界限一致（仅常数因子差异）。
• 该方法为子采样离散傅里叶变换的受限等距性质提供了简化证明，适用于有界正交系统。
• 该方法为形如 $\mathbb{E}|\sum X_i^2|$ 的经验过程上确界的 $L^p$-有界性提供了新结果，扩展了 Mendelson、Pajor 和 Tomczak-Jaegermann 的成果。
• 该方法适用于二阶混沌过程，并为这类过程提供了改进的偏差不等式。
• 该技术避免了复杂的工具（如熵方法），转而依赖矩估计和并集界，使其更具可及性和通用性。