[论文解读] Wishart Mechanism for Differentially Private Principal Components Analysis

Wuxuan Jiang, Cong Xie+1 more|arXiv (Cornell University)|Nov 18, 2015

Privacy-Preserving Technologies in Data参考文献 16被引用 10

一句话总结

本文提出了Wishart机制，这是一种用于差分隐私主成分分析（PCA）的新型输入扰动方法，通过向样本协方差矩阵添加Wishart分布噪声来实现。该方法通过确保扰动后的矩阵保持半正定性，既保留了矩阵结构，又在实用性能上优于基于拉普拉斯噪声的方法，实现了接近最优的样本复杂度和计算效率，适用于$(\epsilon,0)$-差分隐私。

ABSTRACT

We propose a new input perturbation mechanism for publishing a covariance matrix to achieve $(ε,0)$-differential privacy. Our mechanism uses a Wishart distribution to generate matrix noise. In particular, We apply this mechanism to principal component analysis. Our mechanism is able to keep the positive semi-definiteness of the published covariance matrix. Thus, our approach gives rise to a general publishing framework for input perturbation of a symmetric positive semidefinite matrix. Moreover, compared with the classic Laplace mechanism, our method has better utility guarantee. To the best of our knowledge, Wishart mechanism is the best input perturbation approach for $(ε,0)$-differentially private PCA. We also compare our work with previous exponential mechanism algorithms in the literature and provide near optimal bound while having more flexibility and less computational intractability.

研究动机与目标

• 为在保持协方差矩阵半正定性的同时，解决PCA中差分隐私的挑战。
• 开发一种比现有输入扰动方法（尤其是基于拉普拉斯噪声的方法）更具实用效率的替代方案，适用于$(\epsilon,0)$-差分隐私。
• 提供一种计算高效且灵活的框架，不仅支持PCA，还可支持对噪声协方差矩阵的任何下游分析。
• 在严格的隐私保证下，实现低秩逼近的近似最优样本复杂度和误差界。

提出的方法

• 该机制将一个Wishart分布的随机矩阵作为噪声添加到原始样本协方差矩阵$XX^T$上。
• Wishart噪声确保扰动后的矩阵保持半正定性，这是有效协方差矩阵的关键属性。
• 该方法基于输入扰动范式，即在特征空间计算之前即保证隐私。
• 噪声尺度根据协方差矩阵在$\ell_2$有界扰动$vv^T - \hat{v}\hat{v}^T$下的敏感性进行校准。
• 理论分析推导了谱范数和子空间距离下的近似误差界。
• 该方法与指数机制及基于拉普拉斯噪声的方法进行了比较，凸显了其更高的实用性能和更低的计算复杂度。

实验结果

研究问题

• RQ1 是否可以使用Wishart分布的噪声矩阵对协方差矩阵进行扰动，同时保持$(\epsilon,0)$-差分隐私和半正定性？
• RQ2 在样本复杂度和PCA的误差界方面，Wishart机制相较于基于拉普拉斯噪声的输入扰动方法的实用性能如何？
• RQ3 与现有的指数机制和基于拉普拉斯噪声的算法相比，Wishart机制在低秩逼近中是否实现了更优或近似最优的性能？
• RQ4 Wishart机制是否能够高效实现，同时在对对称半正定矩阵保持强隐私和结构保证？

主要发现

• Wishart机制确保扰动后的协方差矩阵保持半正定性，而基于拉普拉斯噪声的输入扰动方法可能违反此性质。
• 该机制在秩-$k$逼近下的谱误差界为$\left\|A - \hat{A}_k\right\|_2 \leq \lambda_{k+1} + O\left(\frac{d\log d}{\epsilon}\right)$，当$k^3 > \log d$时，该界比现有结果更紧。
• 样本复杂度界为$O\left(\frac{d}{\epsilon(1-\rho)(\lambda_1 - \lambda_2)} \left(\log\frac{1}{\eta} + d \log\frac{1}{\lambda_1 - \lambda_2}\right)\right)$，其中$\rho \geq \frac{\sqrt{2}}{2}$，表明即使在弱条件下也能实现强子空间逼近。
• 该算法的时间复杂度为$O(kd^2)$，显著快于基于先前指数机制方法的$O(d^6/\epsilon)$复杂度。
• 在作者定义的邻接关系下，该方法提供了近似最优的$\Omega\left(\frac{d}{\epsilon}\right)$下界，证实了其效率。
• 与$(\epsilon,\delta)$-差分隐私方法相比，Wishart机制在提供更强隐私保证（纯差分隐私）的同时，实现了相当或更优的实用性能和计算效率。