[论文解读] Statistical Properties of Sanitized Results from Differentially Private Laplace Mechanism with Univariate Bounding Constraints

Fang Liu|arXiv (Cornell University)|Jul 28, 2016

Privacy-Preserving Technologies in Data参考文献 34被引用 7

一句话总结

本文提出了并分析了截断型和边界膨胀截断型（BIT）拉普拉斯机制，用于对有界单变量统计量（如比例、相关系数）进行差分隐私化清洗。通过将拉普拉斯噪声限制在已知边界内，与简单截断相比，这些方法降低了偏差和均方误差（MSE），在隐私预算下实现了无偏性和最优收敛速率。

ABSTRACT

Protection of individual privacy is a common concern when releasing and sharing data and information. Differential privacy (DP) formalizes privacy in probabilistic terms without making assumptions about the background knowledge of data intruders, and thus provides a robust concept for privacy protection. Practical applications of DP involve development of differentially private mechanisms to generate sanitized results at a pre-specified privacy budget. For the sanitization of statistics with publicly known bounds such as proportions and correlation coefficients, the bounding constraints will need to be incorporated in the differentially private mechanisms. There has been little work on examining the consequences of the bounding constraints on the accuracy of sanitized results and the statistical inferences of the population parameters based on the sanitized results. In this paper, we formalize the differentially private truncated and boundary inflated truncated (BIT) procedures for releasing statistics with publicly known bounding constraints. The impacts of the truncated and BIT Laplace procedures on the statistical accuracy and validity of sanitized statistics are evaluated both theoretically and empirically via simulation studies.

研究动机与目标

• 为解决关于边界约束如何影响差分隐私清洗结果的统计准确性和有效性的理论分析不足问题。
• 形式化并分析两种新颖机制——截断型和边界膨胀截断型（BIT）——用于在差分隐私下清洗有界统计量。
• 通过模拟，从理论和实证两方面评估这些机制的统计特性（偏差、一致性、MSE）。
• 建立所提机制在保持差分隐私的同时，显著优于简单截断的准确性。
• 证明在标准隐私预算和灵敏度缩放下，这些机制实现了最优收敛速率（MSE = O(n^{-2k}))。

提出的方法

• 提出一种截断型拉普拉斯机制，从均值为零、在统计量已知边界[c₀, c₁]内截断的拉普拉斯分布中抽取噪声。
• 引入边界膨胀截断（BIT）机制，通过增大边界c₀和c₁处的概率质量，以减少接近边界时的偏差。
• 利用闭式期望和积分，推导出两种机制下清洗结果的偏差、方差和均方误差（MSE）的精确表达式。
• 使用全期望定律和全方差定律，分析在样本量增加时清洗估计量的渐近一致性。
• 应用关于条件期望和方差收敛性的理论引理，证明清洗结果以概率收敛于真实参数。
• 通过模拟研究验证理论发现，并与简单截断和无界拉普拉斯机制进行性能比较。

实验结果

研究问题

• RQ1 边界约束如何影响差分隐私清洗结果的统计准确性和有效性？
• RQ2 将拉普拉斯噪声截断至统计量已知边界对偏差和均方误差（MSE）有何影响？
• RQ3 边界膨胀截断（BIT）机制是否能比标准截断更有效地减少边界附近的偏差？
• RQ4 所提机制是否在提升统计效率和一致性的同时保持差分隐私？
• RQ5 在标准隐私预算下，截断型和BIT机制的偏差与MSE收敛速率如何？

主要发现

• 与简单截断相比，截断型拉普拉斯机制降低了MSE，且MSE上界为2λ²，其中λ = δₛ/ε为尺度参数。
• BIT机制通过在边界c₀和c₁处增大概率质量，进一步降低了偏差，使MSE小于截断机制。
• 两种机制均实现了无偏性：当样本量n增加时，清洗估计值s*以概率收敛于真实参数θ。
• 当全局灵敏度δₛ ∝ n^{-k}时，两种机制的MSE均以O(n^{-2k})的速率收敛至零，确保渐近效率。
• 理论分析证实，当n → ∞时，E(s* | θ) → θ且V(s* | θ) → 0，验证了估计量的一致性。
• 由于偏差和方差校正中存在负项，BIT机制的MSE严格小于2λ²，表明其统计性能更优。