[论文解读] Reviewing and Improving the Gaussian Mechanism for Differential Privacy

Jun Zhao, Teng Wang+8 more|arXiv (Cornell University)|Nov 27, 2019

Privacy-Preserving Technologies in Data参考文献 50被引用 19

一句话总结

本文识别并修正了经典高斯机制在 $(\epsilon,\delta)$-差分隐私中的长期缺陷，表明 Dwork 等人（2006 年）和 Dwork 与 Roth（2014 年）广泛使用的噪声界限在 $\epsilon$ 较大时无法保证隐私。作者推导出最优噪声参数 $\sigma_{\texttt{DP-OPT}}$ 的新闭式上界，确保对所有 $\epsilon > 0$ 满足 $(\epsilon,\delta)$-差分隐私，同时相比经典机制提升了实用性。

ABSTRACT

Differential privacy provides a rigorous framework to quantify data privacy, and has received considerable interest recently. A randomized mechanism satisfying $(ε, δ)$-differential privacy (DP) roughly means that, except with a small probability $δ$, altering a record in a dataset cannot change the probability that an output is seen by more than a multiplicative factor $e^ε $. A well-known solution to $(ε, δ)$-DP is the Gaussian mechanism initiated by Dwork et al. [1] in 2006 with an improvement by Dwork and Roth [2] in 2014, where a Gaussian noise amount $\sqrt{2\ln \frac{2}δ} imes \fracΔε$ of [1] or $\sqrt{2\ln \frac{1.25}δ} imes \fracΔε$ of [2] is added independently to each dimension of the query result, for a query with $\ell_2$-sensitivity $Δ$. Although both classical Gaussian mechanisms [1,2] assume $0 < ε\leq 1$, our review finds that many studies in the literature have used the classical Gaussian mechanisms under values of $ε$ and $δ$ where the added noise amounts of [1,2] do not achieve $(ε,δ)$-DP. We obtain such result by analyzing the optimal noise amount $σ_{DP-OPT}$ for $(ε,δ)$-DP and identifying $ε$ and $δ$ where the noise amounts of classical mechanisms are even less than $σ_{DP-OPT}$. Since $σ_{DP-OPT}$ has no closed-form expression and needs to be approximated in an iterative manner, we propose Gaussian mechanisms by deriving closed-form upper bounds for $σ_{DP-OPT}$. Our mechanisms achieve $(ε,δ)$-DP for any $ε$, while the classical mechanisms [1,2] do not achieve $(ε,δ)$-DP for large $ε$ given $δ$. Moreover, the utilities of our mechanisms improve those of [1,2] and are close to that of the optimal yet more computationally expensive Gaussian mechanism.

研究动机与目标

• 识别并纠正文献中对经典高斯机制（Dwork-2006 和 Dwork-2014）的普遍误用，这些机制在 $\epsilon$ 较大时无法保证 $(\epsilon,\delta)$-差分隐私。
• 正式分析 $(\epsilon,\delta)$-差分隐私的最优噪声参数 $\sigma_{\texttt{DP-OPT}}$，并证明经典机制在 $\epsilon$ 较大时使用的噪声水平低于所需阈值。
• 推导出对所有 $\epsilon > 0$ 有效的 $\sigma_{\texttt{DP-OPT}}$ 的新闭式上界，实现正确且高效的高斯机制实现。
• 通过减少噪声在保持隐私保证的前提下提升高斯机制的实用性，使其接近计算成本高昂的最优 $\sigma_{\texttt{DP-OPT}}$ 的性能。
• 对 $(\epsilon,\delta)$-概率差分隐私（pDP）进行综合分析，包括其与标准差分隐私的关系及相应的噪声需求。

提出的方法

• 作者通过求解使用正态分布累积分布函数和互补误差函数的隐私约束，推导出 $(\epsilon,\delta)$-差分隐私的最优噪声参数 $\sigma_{\texttt{DP-OPT}}$。
• 他们证明：当 $\epsilon$ 较大时，$\sigma_{\texttt{DP-OPT}} = \Theta(1/\sqrt{\epsilon})$，这与经典机制的 $\Theta(1/\epsilon)$ 缩放相矛盾，从而否定了经典机制在 $\epsilon$ 较大时的有效性。
• 本文提出了对 $\sigma_{\texttt{DP-OPT}}$ 的新闭式上界，其紧致性优于经典界限，且对所有 $\epsilon > 0$ 有效，推导过程基于互补误差函数反函数的解析不等式。
• 作者通过严格的数学证明验证了其界限，包括互补误差函数的 Craig 公式以及对反函数 $\operatorname{inverfc}(y)$ 的界限。
• 他们将所提出的机制与经典机制及最优 $\sigma_{\texttt{DP-OPT}}$ 进行比较，通过理论和数值分析证明了其在实用性上的优势。
• 本文还包含对 $(\epsilon,\delta)$-概率差分隐私（pDP）的详尽讨论，澄清了其与标准差分隐私的关系，并推导出相应的噪声需求。

实验结果

研究问题

• RQ1 为何经典高斯机制（Dwork-2006 和 Dwork-2014）尽管被广泛使用，却在 $\epsilon$ 较大时无法实现 $(\epsilon,\delta)$-差分隐私？
• RQ2 对于较大的 $\epsilon$，最优噪声参数 $\sigma_{\texttt{DP-OPT}}$ 的正确渐近缩放是什么？它与经典假设的 $\Theta(1/\epsilon)$ 有何不同？
• RQ3 能否推导出对所有 $\epsilon > 0$ 有效的 $\sigma_{\texttt{DP-OPT}}$ 的闭式上界，以确保 $(\epsilon,\delta)$-差分隐私？
• RQ4 所提出的机制在实用性上与经典机制及最优 $\sigma_{\texttt{DP-OPT}}$ 相比如何？
• RQ5 $(\epsilon,\delta)$-差分隐私与 $(\epsilon,\delta)$-概率差分隐私（pDP）之间的关系是什么？它们的噪声需求有何不同？

主要发现

• 经典高斯机制（Dwork-2006 和 Dwork-2014）在 $\epsilon$ 较大时无法保证 $(\epsilon,\delta)$-差分隐私，因为其噪声水平低于此类 $\epsilon$ 值下所需的 $\sigma_{\texttt{DP-OPT}}$。
• 当 $\epsilon$ 较大时，最优噪声参数的缩放为 $\Theta(1/\sqrt{\epsilon})$，而非经典假设的 $\Theta(1/\epsilon)$，这否定了经典机制的有效性。
• 所提出的 $\sigma_{\texttt{DP-OPT}}$ 闭式上界对所有 $\epsilon > 0$ 确保了 $(\epsilon,\delta)$-差分隐私，且比经典界限更紧致，从而提升了实用性。
• 新机制在实用性上显著优于经典机制，同时与需要迭代计算的最优 $\sigma_{\texttt{DP-OPT}}$ 非常接近。
• 本文正式证明：$\sigma_{\texttt{Dwork-2006}} = \sqrt{2\ln(2/\delta)} \cdot \Delta / \epsilon$ 和 $\sigma_{\texttt{Dwork-2014}} = \sqrt{2\ln(1.25/\delta)} \cdot \Delta / \epsilon$ 即使在 $\delta$ 较小时，对较大的 $\epsilon$ 也仍不足。
• 作者推导并证明了一个新上界：$\operatorname{inverfc}(y) < \sqrt{\ln\left(\frac{2}{\sqrt{8y+1}-1}\right)}$，该不等式被用于构建新的闭式噪声界限。