[论文解读] Private Posterior distributions from Variational approximations

Vishesh Karwa, Daniel Kifer+1 more|arXiv (Cornell University)|Nov 24, 2015

Privacy-Preserving Technologies in Data参考文献 20被引用 9

一句话总结

本文提出了一种变分推断框架，将差分隐私机制直接整合到似然函数中，以实现在私有数据上的有效贝叶斯推断。通过将原始数据视为缺失数据，并利用一种新型下界及MM算法，该方法为朴素贝叶斯对数线性模型生成了精确的后验近似，其性能在模拟实验中显著优于忽略隐私噪声的朴素方法。

ABSTRACT

Privacy preserving mechanisms such as differential privacy inject additional randomness in the form of noise in the data, beyond the sampling mechanism. Ignoring this additional noise can lead to inaccurate and invalid inferences. In this paper, we incorporate the privacy mechanism explicitly into the likelihood function by treating the original data as missing, with an end goal of estimating posterior distributions over model parameters. This leads to a principled way of performing valid statistical inference using private data, however, the corresponding likelihoods are intractable. In this paper, we derive fast and accurate variational approximations to tackle such intractable likelihoods that arise due to privacy. We focus on estimating posterior distributions of parameters of the naive Bayes log-linear model, where the sufficient statistics of this model are shared using a differentially private interface. Using a simulation study, we show that the posterior approximations outperform the naive method of ignoring the noise addition mechanism.

研究动机与目标

• 解决当标准统计方法应用于差分隐私数据时产生的无效和不准确推断问题。
• 开发一种原则性的贝叶斯框架，将原始数据视为缺失数据，并在似然函数中显式建模隐私机制。
• 推导出由隐私保护机制引起的不可解似然函数的快速且精确的变分近似。
• 通过将隐私噪声纳入推断过程，确保后验估计的有效性及适当的标准误。
• 通过模拟证明，所提出的方法优于忽略隐私机制的朴素推断方法。

提出的方法

• 将原始数据集视为缺失数据，将隐私机制建模为条件分布 P(Z|D, γ)，并将其整合到似然函数中。
• 利用变分推断推导出不可解似然函数的下界，从而在非共轭和不可微项下实现优化。
• 使用MM（主要化-最小化）算法最大化下界，同时满足模型参数上的单纯形约束。
• 应用一阶内点法求解约束优化问题，确保收敛性，并避免其他方法中常见的边界问题。
• 对充分统计量使用逆高斯分布，对参数先验使用狄利克雷分布作为变分近似。
• 在变分更新过程中，利用digamma函数计算狄利克雷分布中对数概率的期望。

实验结果

研究问题

• RQ1 通过在似然函数中显式建模隐私机制，能否使对差分隐私数据的贝叶斯推断变得有效且准确？
• RQ2 变分推断如何适应处理由列联表中非共轭、不可微的隐私噪声引起的不可解似然函数？
• RQ3 何种优化策略可在单纯形约束下确保后验分布估计的收敛性和数值稳定性？
• RQ4 将隐私机制纳入推断是否能相比忽略它的朴素方法提升参数估计效率？
• RQ5 所提出的方法是否能在高维设置下生成有意义的标准误和一致估计？

主要发现

• 模拟研究显示，所提出的变分方法生成的后验近似比忽略隐私机制的朴素推断更为精确。
• 通过在似然函数中显式建模隐私机制，该方法确保了参数估计的存在性与有效统计推断。
• 采用合适搜索方向和Armijo规则的一阶内点法，保证了下界单调递增及收敛性。
• 该方法成功处理了似然函数中的非共轭和不可微项，这些项对标准均值场变分推断而言是不可解的。
• 后验分布的变分近似显著提升了估计效率，相比朴素方法具有更好的覆盖概率和更低的方差。
• 即使噪声计数与任何真实列联表均不一致，该方法仍能提供有意义的标准误和渐近一致估计。