[论文解读] Subgaussian Tail Bounds via Stability Arguments

Thomas Steinke, Jonathan Ullman|arXiv (Cornell University)|Jan 12, 2017

Privacy-Preserving Technologies in Data参考文献 8被引用 7

一句话总结

本文提出了一种基于稳定性的新颖证明方法，用于推导独立有界随机变量和的次高斯尾部界限，避免了传统矩生成函数技术。通过借鉴差分隐私的稳定性论证，该方法建立了紧致的集中不等式，包括霍夫丁型和伯恩斯坦型界限，其核心是通过有界多个独立副本的偏差变量最大值的期望来实现。

ABSTRACT

Sums of independent, bounded random variables concentrate around their expectation approximately as well a Gaussian of the same variance. Well known results of this form include the Bernstein, Hoeffding, and Chernoff inequalities and many others. We present an alternative proof of these tail bounds based on what we call a stability argument, which avoids bounding the moment generating function or higher-order moments of the distribution. Our stability argument is inspired by recent work on the generalization properties of differential privacy and their connection to adaptive data analysis (Bassily et al., STOC 2016).

研究动机与目标

• 提供一种独立有界随机变量和的次高斯尾部界限的替代证明，避免对矩生成函数进行有界处理。
• 展示算法稳定性（特别是差分隐私）如何用于在非自适应设置下推导集中不等式。
• 将该方法推广至低敏感度函数，从而导出麦克迪尔米德不等式的全新推导。
• 建立自适应数据分析中的稳定性与经典测度集中之间的联系。
• 通过偏差变量独立同分布副本的期望最大值的代理界限，建立统一的次高斯尾部界限推导框架。

提出的方法

• 将 $ m $ 个独立同分布的偏差 $ Y = \textstyle\sum_{i=1}^n X_i - \mu_i $ 的最大值的期望作为尾部概率的代理。
• 通过一个选择 $ m $ 个副本中近似最大值的差分隐私算法应用稳定性论证。
• 利用参数为 $ \eta $ 的平滑化取最大值函数，有界所选偏差的期望，确保稳定性。
• 推导代理界限：$ \mathbb{E}[\max\{0, Y^1, \dots, Y^m\}] \leq O(\sqrt{n \ln m}) $，该界限蕴含次高斯尾部衰减。
• 将代理界限与引理 1.2 中的马尔可夫型集中性结合，推导出形式为 $ \mathbb{P}[Y \geq \varepsilon n] \leq e^{-\Omega(\varepsilon^2 n)} $ 的尾部界限。
• 将该方法推广至低敏感度函数 $ f $，证明 $ \mathbb{E}[\max_j (f(X^j) - \mathbb{E}[f(X^j)])] \leq 8\Delta\sqrt{n \ln m} $，从而恢复麦克迪尔米德不等式。

实验结果

研究问题

• RQ1 能否在不依赖矩生成函数的前提下，推导出独立有界随机变量和的次高斯尾部界限？
• RQ2 算法稳定性（特别是差分隐私）如何用于在非自适应设置下证明集中不等式？
• RQ3 独立同分布偏差变量副本的期望最大值与该变量尾部概率之间有何关系？
• RQ4 该基于稳定性的方法能否推广至超出和的有界敏感度函数？
• RQ5 在此代理驱动的稳定性框架下，可达到的最紧致尾部界限是什么？

主要发现

• 本文通过稳定性论证，建立了一种新的定理 1.1（伯恩斯坦型次高斯尾部界限）的证明，避免了对矩生成函数的分析。
• 证明了 $ \mathbb{E}[\max\{0, Y^1, \dots, Y^m\}] \leq O(\sqrt{n \ln m}) $，结合引理 1.2 可推出 $ \mathbb{P}[Y \geq \varepsilon n] \leq e^{-\Omega(\varepsilon^2 n)} $。
• 对于乘法偏差，该方法得出 $ \mathbb{P}[\sum X_i \geq (1+\varepsilon)\mu] \leq e \cdot (1 + \varepsilon/4)^{-\varepsilon\mu/8} $，当 $ \varepsilon \in [0,10] $ 时可简化为 $ e^{1 - \varepsilon^2 \mu / 64} $。
• 推导出双边界限：$ \mathbb{P}[\sum X_i \leq (1-\varepsilon)\mu] \leq e^{1 - \varepsilon^2 \mu / 32} $，适用于 $ \varepsilon \in [0,1] $。
• 该方法可推广至低敏感度函数：$ \mathbb{E}[\max_j (f(X^j) - \mathbb{E}[f(X^j)])] \leq 8\Delta\sqrt{n \ln m} $，从而恢复麦克迪尔米德不等式。
• 该方法在差分隐私与经典集中不等式之间建立了概念上的桥梁，提供了新的直观理解，并为进一步推广提供了潜力。