[论文解读] New Lower Bounds for Private Estimation and a Generalized Fingerprinting Lemma

Gautam Kamath, Argyris Mouzakis+1 more|arXiv (Cornell University)|May 17, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文在近似差分隐私（$ε,\delta$-DP）下建立了紧密的下界，针对不同分布族的微差分隐私估计问题，引入广义指纹法以证明在Frobenius范数和谱范数下，私有协方差估计的样本复杂度下界分别为$\Omega(d^2)$和$\Omega(d^{3/2})$，并在有界协方差条件下，对均值估计的下界为$\Omega(d/(α^2\varepsilon))$。这些结果填补了文献中的空白，并证实了谱范数估计存在统计隐私差距。

ABSTRACT

We prove new lower bounds for statistical estimation tasks under the constraint of $(\varepsilon, δ)$-differential privacy. First, we provide tight lower bounds for private covariance estimation of Gaussian distributions. We show that estimating the covariance matrix in Frobenius norm requires $Ω(d^2)$ samples, and in spectral norm requires $Ω(d^{3/2})$ samples, both matching upper bounds up to logarithmic factors. The latter bound verifies the existence of a conjectured statistical gap between the private and the non-private sample complexities for spectral estimation of Gaussian covariances. We prove these bounds via our main technical contribution, a broad generalization of the fingerprinting method to exponential families. Additionally, using the private Assouad method of Acharya, Sun, and Zhang, we show a tight $Ω(d/(α^2 \varepsilon))$ lower bound for estimating the mean of a distribution with bounded covariance to $α$-error in $\ell_2$-distance. Prior known lower bounds for all these problems were either polynomially weaker or held under the stricter condition of $(\varepsilon, 0)$-differential privacy.

研究动机与目标

• 为填补在近似差分隐私下私有统计估计的样本复杂度理解中的空白，特别是针对协方差与均值估计问题。
• 解决在$\varepsilon,\delta$-DP下，如高斯协方差估计这类相关估计问题缺乏紧密下界的问题，而以往技术在此类场景下失效。
• 将指纹法从乘积分布推广至指数族，使其可应用于更广泛的依赖模型。
• 建立谱范数协方差估计中，私有与非私有估计之间的统计隐私差距。
• 提供在弱于纯DP的隐私约束下成立的下界，其与已知上界仅相差对数因子。

提出的方法

• 将BUV14中的指纹法推广至指数族，使针对高斯等依赖分布的下界分析成为可能。
• 提出一个新的技术引理（引理3.2），用于刻画在耦合条件下，指数族分布混合体之间的散度。
• 采用Acharya, Sun与Zhang（2021）提出的私有Assouad方法，推导出在二阶矩有界条件下的均值估计下界。
• 构造具有受控边缘分布与依赖结构的特定分布，以模拟隐私机制的最坏情况。
• 应用耦合论证与散度界（如$D \geq \frac{0.04}{\varepsilon + \delta}$）将隐私损失与样本复杂度关联。
• 通过协方差矩阵与矩阵范数的结构性质，将谱范数估计问题约化为Frobenius范数问题。

实验结果

研究问题

• RQ1 在$\varepsilon,\delta$-差分隐私下，高斯分布协方差矩阵的私有估计最优样本复杂度是多少？
• RQ2 在高斯协方差矩阵的谱范数估计中，是否存在私有与非私有估计之间的样本复杂度统计差距？
• RQ3 指纹法能否超越乘积分布，推广至处理如指数族等具有相关性的模型？
• RQ4 在有界协方差条件下，$\ell_2$-误差下$\varepsilon,\delta$-DP的私有均值估计，其最紧的下界是什么？
• RQ5 这些下界能否扩展至更大的误差范围（$\alpha = \Omega(\sqrt{d})$）或高概率成功（$1-\beta$）设置？

主要发现

• 本文在$\varepsilon,\delta$-DP下，为Frobenius范数下的私有协方差估计建立了紧的$\Omega(d^2)$下界，与已知上界仅相差对数因子。
• 证明了高斯协方差矩阵谱范数估计的$\Omega(d^{3/2})$下界，证实了长期存在的统计隐私差距猜想。
• 广义指纹法使指数族的下界分析成为可能，克服了以往技术对独立边缘分布的依赖。
• 在有界协方差条件下，为$\ell_2$-误差下的私有均值估计建立了紧的$\Omega(d/(α^2\varepsilon))$下界，优于以往的多项式弱化版本。
• 结果在弱于纯DP（$\delta=0$）的$\varepsilon,\delta$-DP约束下成立，具有更广适用性。
• 分析识别出当前下界可扩展的条件，例如在更大误差范围与高概率保证下的情形。