[论文解读] Near-Optimal Algorithms for Differentially-Private Principal Components

Kamalika Chaudhuri, Anand D. Sarwate+1 more|arXiv (Cornell University)|Jul 12, 2012

Privacy-Preserving Technologies in Data参考文献 36被引用 7

一句话总结

该论文提出PPCA，一种新颖的差分隐私PCA算法，采用指数机制结合矩阵Bingham分布，优先选择接近真实PCA结果的子空间。其样本复杂度在数据维度d下达到近似最优的O(d)量级，显著优于先前方法SULQ的Ω(d^{3/2}√log d)量级，且通过MCMC采样在真实数据上展现出更优的方差保留能力。

ABSTRACT

Principal components analysis (PCA) is a standard tool for identifying good low-dimensional approximations to data in high dimension. Many data sets of interest contain private or sensitive information about individuals. Algorithms which operate on such data should be sensitive to the privacy risks in publishing their outputs. Differential privacy is a framework for developing tradeoffs between privacy and the utility of these outputs. In this paper we investigate the theory and empirical performance of differentially private approximations to PCA and propose a new method which explicitly optimizes the utility of the output. We show that the sample complexity of the proposed method differs from the existing procedure in the scaling with the data dimension, and that our method is nearly optimal in terms of this scaling. We furthermore illustrate our results, showing that on real data there is a large performance gap between the existing method and our method.

研究动机与目标

• 解决在保护个体隐私的前提下对敏感数据进行主成分分析的挑战。
• 开发一种差分隐私PCA算法，通过偏好接近真实PCA输出的子空间来最大化实用性。
• 刻画差分隐私PCA的理论样本复杂度边界，并确立其最优性。
• 通过实证结果证明所提方法在真实数据集上的方差保留能力优于现有方法（如SULQ）。

提出的方法

• 提出PPCA，作为指数机制的一个实例，通过从矩阵Bingham分布中抽样来选择k维子空间，使其偏向于接近真实PCA结果的子空间。
• 采用Hoff（2009）提出的马尔可夫链蒙特卡洛（MCMC）过程，高效地从矩阵Bingham分布中抽样，确保在收敛后满足差分隐私。
• 使用隐私预算εp控制噪声注入，通过指数机制的理论保证，确保实现(εp)-差分隐私。
• 通过推导k=1时的样本复杂度边界进行分析，表明SULQ的复杂度为Ω(d^{3/2}√log d)，而PPCA为O(d)，且任何差分隐私算法的通用下界为Ω(d)。
• 利用引理14在单位球面上进行概率打包论证，构造出具有有界两两内积的向量集合，支持理论样本复杂度分析。

实验结果

研究问题

• RQ1 差分隐私PCA的最优样本复杂度随数据维度d的缩放关系如何？
• RQ2 在以方差保留为度量标准时，不同差分隐私PCA方法的实用性如何比较？
• RQ3 能否设计一种差分隐私PCA算法，显式优化与真实PCA子空间的接近程度？
• RQ4 现有方法（如SULQ）与一种优先优化实用性的新方法之间是否存在可证明的性能差距？

主要发现

• 对于k=1，PPCA实现了O(d)的样本复杂度，接近最优，因为任何差分隐私PCA算法至少需要Ω(d)个样本。
• SULQ的样本复杂度为Ω(d^{3/2}√log d)，表明其与PPCA之间存在显著的理论性能差距。
• 在真实世界数据上，PPCA捕获的方差显著多于SULQ，表明其在实用性方面存在巨大的实证性能差距。
• PPCA中使用矩阵Bingham分布可通过对接近真实PCA结果的子空间进行偏好，实现更优的子空间选择，从而提升实用性。
• 理论分析证实，PPCA在样本复杂度随数据维度d的缩放关系上近乎最优。