[论文解读] Private Topic Modeling

Mijung Park, James R. Foulds+2 more|arXiv (Cornell University)|Sep 14, 2016

Privacy-Preserving Technologies in Data参考文献 13被引用 7

一句话总结

本文通过结合 Moments Accountant 以实现紧密的隐私会计计算以及基于子采样的隐私放大机制，提出了一种针对潜在狄利克雷分布（Latent Dirichlet Allocation, LDA）的差分隐私随机变分推断方法。该方法在保持主题连贯性的同时显著降低了噪声，使 Wikipedia 数据上的性能达到当前最优水平，隐私预算 ε ≈ 2.44。

ABSTRACT

We develop a privatised stochastic variational inference method for Latent Dirichlet Allocation (LDA). The iterative nature of stochastic variational inference presents challenges: multiple iterations are required to obtain accurate posterior distributions, yet each iteration increases the amount of noise that must be added to achieve a reasonable degree of privacy. We propose a practical algorithm that overcomes this challenge by combining: (1) an improved composition method for differential privacy, called the moments accountant, which provides a tight bound on the privacy cost of multiple variational inference iterations and thus significantly decreases the amount of additive noise; and (2) privacy amplification resulting from subsampling of large-scale data. Focusing on conjugate exponential family models, in our private variational inference, all the posterior distributions will be privatised by simply perturbing expected sufficient statistics. Using Wikipedia data, we illustrate the effectiveness of our algorithm for large-scale data.

研究动机与目标

• 为解决在主题模型的迭代变分推断中应用差分隐私时噪声随迭代累积的问题。
• 通过采用更紧密的隐私会计方法，降低随机变分推断中实现隐私保护所需的噪声量。
• 利用大规模数据的子采样技术实现隐私放大，进一步减少所需噪声。
• 开发一种实用且可扩展的隐私主题建模方法，同时保持模型的实用性。

提出的方法

• 采用 Moments Accountant 技术，对多个变分推断迭代过程中的累积隐私成本进行紧密上界估计。
• 对大规模数据集应用子采样以实现隐私放大，从而减少每次更新所需的噪声。
• 通过在 E 步中扰动期望充分统计量、在 M 步中扰动期望自然参数，对变分推断过程进行隐私化处理。
• 在共轭指数族框架内运行，确保通过在充分统计量上注入噪声，使所有后验分布均实现隐私保护。
• 采用两步变分推断流程：E 步基于扰动后的期望充分统计量计算潜变量的后验分布；M 步使用经过隐私化处理的期望值更新模型参数。
• 利用 Moments Accountant 组合定理对多次迭代中的总隐私损失进行上界约束，从而实现比标准组合方法更低的噪声。

实验结果

研究问题

• RQ1 差分隐私能否在不造成噪声过度衰减的前提下，有效应用于主题模型中的迭代随机变分推断？
• RQ2 在变分推断背景下，与标准组合定理相比，Moments Accountant 如何改进隐私会计计算？
• RQ3 在大规模主题建模中，子采样在多大程度上能实现隐私放大，并减少给定隐私预算下的噪声需求？
• RQ4 与非私有模型相比，私有主题模型在主题连贯性和困惑度方面的性能表现如何？

主要发现

• 与强组合方法相比，Moments Accountant 组合方法显著降低了噪声，使相同隐私预算下的困惑度更低。
• 在小批量大小为 20,000 且 σ = 1.24 的条件下，该方法在 Wikipedia 数据上实现了 ε ≈ 2.44 的隐私预算，同时保持了合理的词级困惑度。
• 非私有 LDA 生成了最连贯的主题，但使用 Moments Accountant 的私有 LDA 尽管存在噪声，仍保持了有意义的主题结构。
• 强组合方法所需的噪声远高于 Moments Accountant，导致主题连贯性下降，且关键词上的概率质量减少。
• 更大的小批量可提高信噪比并降低困惑度，但因子采样率提高而增加了隐私成本。
• 该方法在隐私（ε ≈ 2.44）与模型实用性之间取得了良好平衡，主题保持可解释性，且关键词的概率仍较高。