[论文解读] Rényi Differential Privacy Mechanisms for Posterior Sampling

Joseph Geumlek, Shuang Song+1 more|arXiv (Cornell University)|Oct 2, 2017

Privacy-Preserving Technologies in Data参考文献 1被引用 22

一句话总结

该论文为指数族模型和广义线性模型（如逻辑回归）中的后验抽样提出了新颖的Rényi微差分隐私（RDP）机制。通过控制先验分布的相对强度，该方法实现了可调节的RDP隐私保证，并在合成数据和真实数据上的实验中验证了其优越的实用性。

ABSTRACT

Using a recently proposed privacy definition of Rényi Differential Privacy (RDP), we re-examine the inherent privacy of releasing a single sample from a posterior distribution. We exploit the impact of the prior distribution in mitigating the influence of individual data points. In particular, we focus on sampling from an exponential family and specific generalized linear models, such as logistic regression. We propose novel RDP mechanisms as well as offering a new RDP analysis for an existing method in order to add value to the RDP framework. Each method is capable of achieving arbitrary RDP privacy guarantees, and we offer experimental results of their efficacy.

研究动机与目标

• 解决贝叶斯推断中后验抽样领域Rényi微差分隐私（RDP）机制可用性有限的问题。
• 研究先验分布如何减轻单个数据点对隐私保护型后验抽样的影响。
• 开发新的RDP机制，并对现有方法提供精细化的RDP分析，以增强贝叶斯模型中的隐私保障。
• 证明通过控制先验浓度，可在逻辑回归等模型中实现更强的隐私性，同时保持最小的效用损失。
• 通过在合成数据和真实世界数据集上的实验评估，验证所提机制的有效性。

提出的方法

• 通过利用先验的集中特性，减少对单个数据点的敏感性，提出一种新颖的指数族分布后验抽样RDP机制。
• 为一种现有后验抽样方法提出新的RDP分析，利用Rényi散度边界细化其隐私保障。
• 使用相邻数据集下后验分布之间λ阶Rényi散度的隐私分析，实现灵活的隐私调节。
• 通过分解参数空间，推导出逻辑回归中Rényi散度的闭式边界，分析数据扰动对似然比的影响。
• 利用似然和先验的结构，将不同数据维度的贡献解耦，实现可分离的分析。
• 应用浓度不等式和矩生成函数技术，边界化Rényi散度项，特别是针对逻辑回归的似然比。

实验结果

研究问题

• RQ1 能否通过调节先验浓度，在指数族模型的后验抽样中实现更强的Rényi微差分隐私（RDP）保障？
• RQ2 先验分布的选择如何影响后验抽样机制中的隐私-效用权衡？
• RQ3 能否对现有后验抽样方法在RDP框架下重新分析，以获得更紧致的隐私边界？
• RQ4 数据维度和特征结构对广义线性模型中后验抽样隐私保障的影响是什么？
• RQ5 所提出的RDP机制与标准后验抽样相比，在真实和合成数据上的隐私性和预测效用表现如何？

主要发现

• 通过调节先验浓度，所提出的RDP机制可实现任意RDP隐私保障，从而实现灵活的隐私-效用权衡。
• 对于逻辑回归，RDP分析表明隐私损失按O(σ²c²(λ−1)/2)的尺度增长，其中c为数据向量的ℓ2范数，σ控制先验方差。
• 实验结果表明，所提机制在相同隐私预算下，负对数似然低于标准后验抽样，表明其具有更好的效用。
• 在负对数似然方面，扩散算法优于集中算法，表明在RDP约束下具有更好的泛化能力。
• 在Abalone、Adult和MNIST 3vs8等数据集上，所提方法在保持强预测性能的同时，实现了更紧致的RDP边界。
• RDP分析表明，隐私损失主要由被扰动数据点的贡献主导，而其余数据通过先验起到稳定作用。