[论文解读] Rényi Differential Privacy of the Sampled Gaussian Mechanism

Ilya Mironov, Kunal Talwar+1 more|arXiv (Cornell University)|Aug 28, 2019

Privacy-Preserving Technologies in Data参考文献 10被引用 88

一句话总结

简述：论文分析样本高斯机制(SGM)的Rényi微分隐私(RDP)，统一现有结果，提供几乎紧密的闭式界限，并提供一个数值稳定的方法来计算SGM的RDP。

ABSTRACT

The Sampled Gaussian Mechanism (SGM)---a composition of subsampling and the additive Gaussian noise---has been successfully used in a number of machine learning applications. The mechanism's unexpected power is derived from privacy amplification by sampling where the privacy cost of a single evaluation diminishes quadratically, rather than linearly, with the sampling rate. Characterizing the precise privacy properties of SGM motivated development of several relaxations of the notion of differential privacy. This work unifies and fills in gaps in published results on SGM. We describe a numerically stable procedure for precise computation of SGM's Rényi Differential Privacy and prove a nearly tight (within a small constant factor) closed-form bound.

研究动机与目标

• 激发并分析样本高斯机制（SGM）的隐私性，该机制将子采样与高斯噪声相结合。
• 在Rényi微分隐私（RDP）框架下统一现有的关于SGM的结果。
• 提供闭式界限以及数值稳定的方法来计算SGM的RDP。
• 澄清在SGM情境下DP松弛和隐私核算方法之间的关系。

提出的方法

• 将SGM的RDP分析简化为一维高斯分布的简单混合，并应用Rényi散度的准凸性来界定散度。
• 通过对Aα和Bα的界定得到一个闭式界限，其中 Aα = E_{z~N(0,σ^2)}[(μ(z)/μ0(z))^α]，Bα = E_{z~μ}[(μ0(z)/μ(z))^α]，其中 μ0= N(0,σ^2)，μ=(1−q)μ0+qμ1，μ1=N(1,σ^2)。
• 证明 Aα ≥ Bα，并利用此关系简化分析。
• 提供一种数值稳定的 Aα 计算方法，既可对整数 α 使用二项展开，又可对分数 α 使用收敛级数，并演示实际评估方式。
• 给出一个主要定理，在参数范围(q ≤ 1/5, σ ≥ 4, 且 α 在规定范围内)下给出RDP界限，且 ε = 2q^2α/σ^2。
• 讨论不同隐私概念（CDP、zCDP、tCDP、RDP）之间的联系及隐私核算框架。

实验结果

研究问题

• RQ1 在不同的采样率 q 和噪声水平 σ 下，样本高斯机制的 Rényi 微分隐私界限是否紧致或近似紧致？
• RQ2 如何将分析简化为简单的一维高斯混合，以便于计算 RDP？
• RQ3 Aα 与 Bα 的比较如何，以及它们之间的关系如何影响 SGM 的 RDP？
• RQ4 是否可以推导出数值稳定的过程来精确计算 Aα，既适用于整数也适用于非整数的 α？
• RQ5 在 SGM 背景下，RDP 结果如何与其他 DP 松弛和核算方法相关或对比？

主要发现

• SGM 的 ℓ2-敏感度为 1 时，当 ε ≤ (1/(α−1)) log max(Aα, Bα) 且 Aα ≥ Bα 时，满足 (α, ε)-RDP。
• 对 Aα 的闭式界限导出，在指定参数约束(q ≤ 1/5, σ ≥ 4, 且 α 在定义范围内)下得到 ε = 2q^2α/σ^2 的 (α, ε)-RDP 保证。
• 给出数值稳定的程序来精确计算 Aα，使用整数 α 时的二项展开或分数 α 的收敛级数，从而实现精确的RDP核算。
• 一个一般定理表明，在所述假设下，简化为一维高斯混合即可捕捉 SGM 的最坏情形 RDP 界限。
• 该工作阐明了 CDP、zCDP、tCDP 与 RDP 之间的关系，并讨论了如何将矩量核算器用于将 RDP 界限转换为 (ε, δ)-DP。