[论文解读] Optimality of the Laplace Mechanism in Differential Privacy

Fragkiskos Koufogiannis, Shuo Han+1 more|arXiv (Cornell University)|Mar 31, 2015

Privacy-Preserving Technologies in Data参考文献 13被引用 20

一句话总结

本文通过提出Lipschitz隐私——一种适用于度量空间的微分隐私更紧致变体——建立了拉普拉斯机制在微分隐私中的最优性，并证明在ℓ₁和ℓ₂-范数邻接关系下，拉普拉斯机制对于身份查询的均方误差最小化具有最优性。此外，本文进一步推导出高维和多用户场景下的最优机制，表明当噪声与个体数据向量的ℓ₂-范数成比例时，拉普拉斯机制在旋转不变隐私约束下实现最小误差。

ABSTRACT

In the highly interconnected realm of Internet of Things, exchange of sensitive information raises severe privacy concerns. The Laplace mechanism -- adding Laplace-distributed artificial noise to sensitive data -- is one of the widely used methods of providing privacy guarantees within the framework of differential privacy. In this work, we present Lipschitz privacy, a slightly tighter version of differential privacy. We prove that the Laplace mechanism is optimal in the sense that it minimizes the mean-squared error for identity queries which provide privacy with respect to the $\ell_{1}$-norm. In addition to the $\ell_{1}$-norm which respects individuals' participation, we focus on the use of the $\ell_{2}$-norm which provides privacy of high-dimensional data. A variation of the Laplace mechanism is proven to have the optimal mean-squared error from the identity query. Finally, the optimal mechanism for the scenario in which individuals submit their high-dimensional sensitive data is derived.

研究动机与目标

• 将Lipschitz隐私形式化为适用于度量空间的微分隐私更紧致版本。
• 证明在ℓ₁-范数隐私约束下，拉普拉斯机制对于身份查询的均方误差最小化具有最优性。
• 将最优性结果扩展至ℓ₂-范数邻接关系，以捕捉高维数据（如GPS轨迹）的隐私保护。
• 推导出多个用户贡献高维私有数据场景下的最优私有机制。
• 通过凸优化中的对偶性建立最优性，证明所构造的原始-对偶解具有零对偶间隙。

提出的方法

• 将Lipschitz隐私形式化为微分隐私在度量空间中的适应形式，结合基于ℓ₁和ℓ₂-范数的邻接关系。
• 将私有机制建模为与输入无关的噪声添加：Q(u) = u + V，其中V服从分布g。
• 将最优机制设计形式化为一个约束优化问题，目标是最小化E[‖V‖²]，同时满足隐私约束。
• 利用凸对偶性构造具有零对偶间隙的可行原始解与对偶解，从而证明最优性。
• 对于ℓ₂-范数情形，推导出拉普拉斯机制的一种变体，其中噪声大小服从伽马分布，方向在球面上均匀分布。
• 通过将联合数据空间建模为ℝⁿᵐ并定义保持个体与群体隐私的复合邻接关系，将结果扩展至多用户场景。

实验结果

研究问题

• RQ1 在实值空间中，对于身份查询，拉普拉斯机制在ℓ₁-范数微分隐私下是否对最小化均方误差具有最优性？
• RQ2 拉普拉斯机制的变体是否能在ℓ₂-范数隐私约束下实现高维数据的最优准确性？
• RQ3 当多个个体贡献高维私有数据时，最优私有机制是什么？邻接关系如何影响机制设计？
• RQ4 如何利用凸优化中的对偶性来证明微分隐私中噪声机制的最优性？
• RQ5 当隐私通过保持个体参与和数据级隐私的复合邻接关系定义时，拉普拉斯机制是否仍保持最优？

主要发现

• 在ℓ₁-范数邻接关系下，拉普拉斯机制对身份查询具有最优性，其均方误差在所有与输入无关的机制中最小。
• 对于ℓ₂-范数隐私，一种拉普拉斯机制的变体——其中噪声大小服从伽马分布，方向在球面上均匀分布——具有最优性。
• 对于多用户、高维数据场景，最优机制对每个用户的私有数据独立添加基于ℓ₂-范数的噪声，其密度与exp(−ε∑‖vᵢ‖₂)成正比。
• 在ℓ₂-范数下，最优机制的均方误差下界为nm(m+1)/ε²，且该下界可由所推导的机制达到。
• 构造出一对具有零对偶间隙的原始-对偶解，通过凸优化中的强对偶性证明了最优性。
• 结果可扩展至保持个体参与和高维数据隐私的复合邻接关系，最优机制为基于个体ℓ₂-范数的拉普拉斯机制的乘积。