[论文解读] Practical Privacy For Expectation Maximization.

Mijung Park, Jimmy Foulds+2 more|arXiv (Cornell University)|May 23, 2016

Privacy-Preserving Technologies in Data参考文献 11被引用 8

一句话总结

本文提出了一种实用的隐私保护期望最大化（EM）算法，在集中式微分隐私（CDP）下通过扰动数据的充分统计量（矩）实现高精度，同时减少隐私预算。对于指数族模型，该方法在数据规模增大时自然地调整噪声，相比标准微分隐私（DP）和(ε,δ)-DP，在混合模型中表现更优。

ABSTRACT

Expectation maximization (EM) is an iterative algorithm that computes maximum likelihood and maximum a posteriori estimates for models with unobserved variables. While widely used, the iterative nature of EM presents challenges for privacy-preserving estimation. Multiple iterations are required to obtain accurate parameter estimates, yet each iteration increases the amount of noise that must be added to achieve a reasonable degree of privacy. We propose a practical algorithm that overcomes this challenge and outputs EM parameter estimates that are both accurate and private. Our algorithm focuses on the frequent use case of models whose joint distribution over observed and unobserved variables remains in the exponential family. For these models, the EM parameters are functions of moments of the data. Our algorithm leverages this to preserve privacy by perturbing the moments, for which the amount of additive noise scales naturally with the data. In addition, our algorithm uses a relaxed notion of the differential privacy (DP) gold standard, called concentrated differential privacy (CDP). Rather than focusing on single-query loss, CDP provides high probability bounds for cumulative privacy loss, which is well suited for iterative algorithms. For mixture models, we show that our method requires a significantly smaller privacy budget for the same estimation accuracy compared to both DP and its (epsilon, delta)-DP relaxation. Our general approach of moment perturbation equipped with CDP can be readily extended to many iterative machine learning algorithms, which opens up various exciting future directions.

研究动机与目标

• 解决在迭代式EM算法中，因多轮计算导致隐私损失被放大的挑战。
• 降低在存在隐变量的模型中，实现EM算法准确参数估计所需的隐私预算。
• 开发一种实用方法，在确保强隐私保障的同时保持高估计精度。
• 通过利用矩扰动与CDP，将微分隐私的应用扩展至EM等迭代式机器学习算法。
• 证明集中式微分隐私（CDP）在迭代式EM过程中提供的隐私边界比标准DP更紧密。

提出的方法

• 该方法扰动数据的充分统计量（矩）而非原始数据或模型参数，从而在数据表示层面实现隐私保护。
• 利用EM参数在指数族模型中为矩的函数这一事实，通过矩的混淆实现隐私保护估计。
• 采用集中式微分隐私（CDP），其在多轮迭代中提供累积隐私损失的高概率边界，相较于标准DP更适用于迭代算法。
• 噪声按数据规模成比例添加至矩，确保隐私成本随数据量自然增长，而非随迭代次数增加。
• 该算法针对联合分布（观测变量与隐变量）仍属于指数族的模型设计，以保证解析可计算性。
• 通过使用CDP替代严格的(ε,δ)-DP，放宽了隐私要求，实现更紧密的隐私会计与迭代场景下的更高效用。

实验结果

研究问题

• RQ1 在集中式微分隐私（CDP）下对矩进行扰动，是否能降低在迭代算法中实现EM估计所需的安全预算？
• RQ2 在混合模型的EM算法中，CDP与标准DP及(ε,δ)-DP相比，在隐私-效用权衡方面表现如何？
• RQ3 在指数族模型的EM算法中，扰动充分统计量而非模型参数，是否能带来更好的精度-隐私权衡？
• RQ4 在EM算法中，隐私成本是否能随数据规模自然增长而非随迭代次数增加，从而提升实用性？
• RQ5 该方法在多大程度上可推广至EM以外的其他迭代式机器学习算法？

主要发现

• 在混合模型中，该方法在相同估计精度下，相比标准DP和(ε,δ)-DP，显著降低了隐私预算需求。
• 通过扰动矩并使用CDP，算法在多轮迭代中实现更优的隐私损失累积，优于标准DP。
• 由于噪声添加在矩层面，该方法保持了数据的统计结构，从而维持了高估计精度。
• 隐私成本随数据规模自然增长，避免了标准DP下迭代算法中噪声累积加剧的问题。
• 该方法可推广至依赖指数族模型中充分统计量的其他迭代式机器学习算法。
• CDP的使用实现了更紧密的隐私会计，使该方法在隐私敏感应用的实际部署中更具可行性。