[论文解读] On the Benefits of Sampling in Privacy Preserving Statistical Analysis on Distributed Databases

Bing-Rong Lin, Ye Wang+1 more|arXiv (Cornell University)|Apr 16, 2013

Privacy-Preserving Technologies in Data参考文献 13被引用 4

一句话总结

本文提出了一种针对垂直分割的分布式数据库的隐私保护统计分析框架，结合随机抽样、Post Randomization (PRAM) 和加密技术，以确保差分隐私和数据机密性。研究证明，将抽样与PRAM结合可增强隐私保护（降低所需PRAM噪声），并推导出在保持目标隐私水平𝜖的前提下最小化估计误差的最优抽样规模。

ABSTRACT

We consider a problem where mutually untrusting curators possess portions of a vertically partitioned database containing information about a set of individuals. The goal is to enable an authorized party to obtain aggregate (statistical) information from the database while protecting the privacy of the individuals, which we formalize using Differential Privacy. This process can be facilitated by an untrusted server that provides storage and processing services but should not learn anything about the database. This work describes a data release mechanism that employs Post Randomization (PRAM), encryption and random sampling to maintain privacy, while allowing the authorized party to conduct an accurate statistical analysis of the data. Encryption ensures that the storage server obtains no information about the database, while PRAM and sampling ensures individual privacy is maintained against the authorized party. We characterize how much the composition of random sampling with PRAM increases the differential privacy of system compared to using PRAM alone. We also analyze the statistical utility of our system, by bounding the estimation error - the expected l2-norm error between the true empirical distribution and the estimated distribution - as a function of the number of samples, PRAM noise, and other system parameters. Our analysis shows a tradeoff between increasing PRAM noise versus decreasing the number of samples to maintain a desired level of privacy, and we determine the optimal number of samples that balances this tradeoff and maximizes the utility. In experimental simulations with the UCI "Adult Data Set" and with synthetically generated data, we confirm that the theoretically predicted optimal number of samples indeed achieves close to the minimal empirical error, and that our analytical error bounds match well with the empirical results.

研究动机与目标

• 解决在保护个体隐私的同时，对垂直分割的分布式数据库进行准确统计分析的挑战。
• 确保不受信服务器无法通过加密获取原始数据的任何信息。
• 利用抽样降低噪声需求，通过Post Randomization (PRAM) 保护个体隐私，防止授权分析员获取敏感信息。
• 量化结合随机抽样与PRAM带来的隐私增益，表明其可使差分隐私效果超越单独使用PRAM。
• 通过推导最小化估计误差的最优样本数，优化隐私与统计效用之间的权衡，目标为给定隐私预算𝜖。

提出的方法

• 使用Post Randomization (PRAM) 对个体数据条目进行扰动，以确保对授权分析员的差分隐私。
• 通过随机抽样从完整数据库中选取记录子集，再应用PRAM，从而降低有效所需噪声。
• 在将数据传输至不受信服务器前，使用一次性密码本加密，确保服务器无法推断原始数据的任何信息。
• 使用𝛾-对角转移矩阵A形式化系统，其中𝛾控制扰动水平与隐私强度。
• 推导出真实与估计联合类型分布之间ℓ₂-范数估计误差的理论边界，作为抽样规模m与PRAM参数𝛾的函数。
• 通过在固定隐私预算𝜖下最小化推导出的误差边界，优化抽样规模m，从而得出最优m的闭式表达式。

实验结果

研究问题

• RQ1 与单独使用PRAM相比，将随机抽样与PRAM结合如何提升差分隐私？
• RQ2 在保持目标隐私水平𝜖的前提下，最小化估计误差的最优样本数m是多少？
• RQ3 PRAM扰动参数𝛾的选择如何影响隐私与统计效用之间的权衡？
• RQ4 在真实数据分布下，ℓ₂-范数估计误差的理论边界能否通过实证方法验证？
• RQ5 与非抽样方法相比，所提系统在相同隐私水平下可将所需PRAM噪声降低多少？

主要发现

• 将随机抽样与PRAM结合可提升系统的差分隐私强度，使在相同隐私预算𝜖下可降低PRAM噪声。
• 最小化估计误差的最优抽样规模m的表达式为 m = n(e^𝜖 - 1)/(𝛾 - 1 + |𝒳||𝒴|)，其中n为完整数据库规模。
• 期望ℓ₂-范数估计误差的理论边界为 E[‖T̂ - T‖₂] ≤ (c√|𝒳||𝒴| + 1)/√m，其中 c = 1 + |𝒳||𝒴|/(𝛾 - 1) 为PRAM矩阵的条件数。
• 在UCI Adult数据集和合成数据的模拟实验中，所推导的最优m可实现接近最小的实测误差，验证了理论预测。
• 隐私边界是紧致的：定理III.2中的𝜖值无法进一步减小，如通过一个示例可达到精确的e^𝜖比率。
• 系统通过一次性密码本加密实现了对不受信服务器的信息论级安全，确保原始数据无泄露。