[论文解读] Smooth Sensitivity Based Approach for Differentially Private Principal Component Analysis

Ran Gilad-Bachrach, Alon Gonen|arXiv (Cornell University)|Oct 29, 2017

Privacy-Preserving Technologies in Data参考文献 23被引用 3

一句话总结

该论文提出了一种计算高效的后处理方法，用于差分隐私主成分分析（PCA），通过平滑敏感性控制输出扰动中的噪声，基于特征值间隔（eigengap）进行调节。在特征值间隔假设下，该方法实现了近乎最优的样本复杂度，实现了最小精度损失的隐私保护，同时保持了稀疏性，并与现有PCA实现向后兼容。

ABSTRACT

Currently known methods for this task either employ the computationally intensive \emph{exponential mechanism} or require an access to the covariance matrix, and therefore fail to utilize potential sparsity of the data. The problem of designing simpler and more efficient methods for this task has been raised as an open problem in \cite{kapralov2013differentially}. In this paper we address this problem by employing the output perturbation mechanism. Despite being arguably the simplest and most straightforward technique, it has been overlooked due to the large \emph{global sensitivity} associated with publishing the leading eigenvector. We tackle this issue by adopting a \emph{smooth sensitivity} based approach, which allows us to establish differential privacy (in a worst-case manner) and near-optimal sample complexity results under eigengap assumption. We consider both the pure and the approximate notions of differential privacy, and demonstrate a tradeoff between privacy level and sample complexity. We conclude by suggesting how our results can be extended to related problems.

研究动机与目标

• 为设计无需访问完整协方差矩阵的高效差分隐私PCA方法，解决开放问题。
• 克服主成分分析（PCA）主特征向量的高全局敏感性，该问题曾阻碍简单输出扰动方法的应用。
• 开发一种在确保纯差分隐私和近似差分隐私的同时，保持高效性和实用性的方法。
• 通过作为后处理步骤添加噪声，实现与现有PCA求解器（尤其是利用数据稀疏性的求解器）的兼容性。

提出的方法

• 该方法在标准PCA计算后，对PCA输出向量添加噪声，实现输出扰动。
• 利用平滑敏感性来限制主特征向量对输入变化的敏感性，从而实现更紧致的噪声校准。
• 噪声大小由经验协方差矩阵的第k个与第(k+1)个特征值之间的特征值间隔决定。
• 对于纯差分隐私（pure DP），使用基于特征值间隔的平滑敏感性推导出的尺度添加拉普拉斯噪声。
• 对于近似差分隐私（approximate DP），使用高斯噪声，其尺度依赖于特征值间隔和置信参数。
• 引入对称性打破机制，以防止符号歧义泄露私有信息。

实验结果

研究问题

• RQ1 尽管主特征向量具有高全局敏感性，输出扰动能否在差分隐私PCA中有效应用？
• RQ2 如何利用平滑敏感性实现样本复杂度最小化的差分隐私？
• RQ3 在特征值间隔假设下，隐私水平（ε）与样本复杂度之间的权衡如何？
• RQ4 所提出的方法能否保持稀疏性，并在无需代码修改的情况下与现有PCA求解器集成？
• RQ5 如何解决PCA解中的对称性问题（如符号歧义），以防止信息泄露？

主要发现

• 在特征值间隔假设下，该方法实现了纯差分隐私，样本复杂度为 O(1/(ε_gap * ε_g))。
• 对于近似差分隐私，样本复杂度以高概率为 O((d + log(1/δ)) / (ε_gap * ε_p))。
• 在相同特征值间隔条件下，该算法保持了近乎最优的精度，误差受 ε_g 限制。
• 噪声尺度与特征值间隔成反比，确保特征值间隔越大，噪声越小，实用性越高。
• 该方法与稀疏数据兼容，可作为后处理步骤应用于任何PCA实现。
• 该方法解决了PCA输出中可能泄露私有信息的符号歧义问题。