[论文解读] On the Differential Privacy of Bayesian Inference

Zuhe Zhang, Benjamin I. P. Rubinstein+1 more|arXiv (Cornell University)|Dec 22, 2015

Privacy-Preserving Technologies in Data参考文献 19被引用 11

一句话总结

本文提出了四种新颖的针对概率图模型的差分隐私机制，涵盖对后验参数及其傅里叶变换的噪声扰动、后验抽样，以及最大后验概率机制。该研究首次建立了图模型结构与隐私之间的理论联系，表明条件独立结构会影响差分隐私保证，并为离散贝叶斯网络和线性回归模型推导出隐私与效用的边界。

ABSTRACT

We study how to communicate findings of Bayesian inference to third parties, while preserving the strong guarantee of differential privacy. Our main contributions are four different algorithms for private Bayesian inference on proba-bilistic graphical models. These include two mechanisms for adding noise to the Bayesian updates, either directly to the posterior parameters, or to their Fourier transform so as to preserve update consistency. We also utilise a recently introduced posterior sampling mechanism, for which we prove bounds for the specific but general case of discrete Bayesian networks; and we introduce a maximum-a-posteriori private mechanism. Our analysis includes utility and privacy bounds, with a novel focus on the influence of graph structure on privacy. Worked examples and experiments with Bayesian na{\\"i}ve Bayes and Bayesian linear regression illustrate the application of our mechanisms.

研究动机与目标

• 在不暴露个体数据的前提下，实现向第三方安全传递贝叶斯推断结果。
• 开发在保持效用的同时满足差分隐私的机制，适用于概率图模型（PGMs）。
• 首次建立图模型结构（如条件独立性）与差分隐私保证之间的正式联系。
• 提供依赖于网络图结构和参数敏感度的隐私与效用理论边界。
• 将后验抽样与加性噪声机制扩展至差分隐私下的贝叶斯推断。

提出的方法

• 提出两种后验扰动机制：一种是直接向后验参数添加拉普拉斯噪声，另一种是向其傅里叶系数添加噪声，以保持更新一致性。
• 改编Dimitrakakis等人（2014）的后验抽样机制，证明在满足随机Lipschitz条件时，离散贝叶斯网络的差分隐私边界。
• 提出一种基于指数机制的最大后验概率私有机制，用于在隐私约束下选择最可能的参数配置。
• 通过后验对数似然函数的敏感性分析推导隐私边界，特别针对参数有界的线性回归模型。
• 采用截断正态先验以确保有界性与共轭性，从而在隐私约束下实现后验的闭式计算。
• 应用受Barak等人（2007）启发的傅里叶域噪声添加方法，以在扰动过程中保持边缘分布的一致性。

实验结果

研究问题

• RQ1 如何在保持效用的前提下，使概率图模型的贝叶斯推断满足差分隐私？
• RQ2 条件独立结构（图拓扑）对贝叶斯网络中差分隐私保证的影响是什么？
• RQ3 后验抽样机制是否可在一般贝叶斯网络结构下被证明满足差分隐私？
• RQ4 对数似然函数的敏感性边界如何影响私有贝叶斯推断中噪声尺度的选择？
• RQ5 在贝叶斯模型中，图结构在多大程度上可被利用以减少实现差分隐私所需的噪声？

主要发现

• 本文证明，在离散贝叶斯网络中，隐私预算 ε 受限于 ε = 2 log(1/ω)，其中 ω 为最小子事件概率，从而可直接通过 ω 校准隐私。
• 对于参数有界的贝叶斯线性回归，对数似然函数的敏感性受 L(w) = (n / (2σ²)) (1 + 2||w||₁ + d||w||₂) 限制，该值决定了差分隐私的噪声尺度。
• 后验抽样机制实现 2L(w)-差分隐私，其中 L(w) 为对数似然函数的敏感性，适用于一般贝叶斯网络。
• 在傅里叶域中注入噪声可保持条件分布间后验更新的一致性，从而提升对无意识攻击者的隐蔽性。
• 理论边界表明，图结构（尤其是条件独立性）可降低后验的有效敏感性，从而改善隐私-效用权衡。
• 基于贝叶斯朴素贝叶斯和线性回归的实验表明，所提机制在满足差分隐私的同时保持了良好效用，隐私水平可通过 ω 或参数边界进行校准。