[论文解读] Privacy Induces Robustness: Information-Computation Gaps and Sparse Mean Estimation

Kristian Georgiev, Samuel B. Hopkins|arXiv (Cornell University)|Nov 1, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文建立了微差隐私与鲁棒性之间的根本联系：在微差隐私下成功概率较高的私有机制，天然地对输入数据中恒定比例的对抗性污染具有鲁棒性。作者通过一个元定理证明了这一点，并将其应用于稀疏均值估计，表明最优私有机制——尤其是基于平方和（Sum-of-Squares）方法的机制——在合理的复杂性理论假设（如 planted clique 猜想）下，能够实现接近最优的样本复杂度，同时保持鲁棒性。

ABSTRACT

We establish a simple connection between robust and differentially-private algorithms: private mechanisms which perform well with very high probability are automatically robust in the sense that they retain accuracy even if a constant fraction of the samples they receive are adversarially corrupted. Since optimal mechanisms typically achieve these high success probabilities, our results imply that optimal private mechanisms for many basic statistics problems are robust. We investigate the consequences of this observation for both algorithms and computational complexity across different statistical problems. Assuming the Brennan-Bresler secret-leakage planted clique conjecture, we demonstrate a fundamental tradeoff between computational efficiency, privacy leakage, and success probability for sparse mean estimation. Private algorithms which match this tradeoff are not yet known -- we achieve that (up to polylogarithmic factors) in a polynomially-large range of parameters via the Sum-of-Squares method. To establish an information-computation gap for private sparse mean estimation, we also design new (exponential-time) mechanisms using fewer samples than efficient algorithms must use. Finally, we give evidence for privacy-induced information-computation gaps for several other statistics and learning problems, including PAC learning parity functions and estimation of the mean of a multivariate Gaussian.

研究动机与目标

• 探究不同差隐私算法是否天然对对抗性数据污染具有鲁棒性。
• 探讨隐私、计算效率与样本复杂度在统计估计问题中的相互作用。
• 在复杂性理论假设下，建立私有稀疏均值估计中的信息-计算差距。
• 设计高效的私有算法，实现隐私、准确率与样本复杂度之间的最优权衡。
• 将隐私与鲁棒性之间的联系扩展到其他问题，包括奇偶性 PAC 学习与高斯均值估计。

提出的方法

• 提出一个元定理，表明成功概率较高的不同差隐私机制对输入中恒定比例的对抗性污染具有鲁棒性。
• 使用平方和（SoS）方法设计时间复杂度为多项式的稀疏均值估计私有算法，样本复杂度为 Õ(k²)。
• 构建指数时间的私有机制，实现信息论上最优的样本复杂度，低于高效算法的阈值。
• 利用 Brennan-Bresler 秘密泄露 planted clique 猜想，证明鲁棒稀疏均值估计的计算下界。
• 通过在剥离子程序中用基本组合替代高级组合，将 CWZ21 算法适配用于纯微差隐私。
• 利用 Rényi 散度与集中性界限，提出鲁棒性元定理的 zCDP（零集中微差隐私）版本。

实验结果

研究问题

• RQ1 不同差隐私机制是否能自动对对抗性数据污染具有鲁棒性？
• RQ2 要求不同差隐私是否会在统计估计问题中引入计算障碍？
• RQ3 在私有稀疏均值估计中，样本复杂度、隐私与计算效率之间的最优权衡是什么？
• RQ4 能否构造出信息论上最优且同时具有鲁棒性的私有机制？
• RQ5 隐私在其他统计问题（如奇偶性 PAC 学习或高斯均值估计）中诱导的信息-计算差距在多大程度上存在？

主要发现

• 成功概率 ≥1−β 的私有机制对输入中最多 η(n) = O(log(1/β)/(ερn)) 比例的对抗性污染具有鲁棒性，其中 ε 取决于隐私参数。
• 在 Brennan-Bresler planted clique 猜想下，任何鲁棒的稀疏均值估计算法即使已知真实支持，也至少需要 Ω(k²) 个样本。
• 平方和方法可产生时间复杂度为多项式的私有算法，其样本复杂度为 Õ(k²)，与猜想的下界仅相差多对数因子。
• 指数时间的私有机制可实现 O(k log d) 的样本复杂度，与非私有信息论下界一致。
• 本文提供了鲁棒性元定理的 zCDP 版本，表明 ρ-zCDP 机制对 η(n) = O(log(1/δ)/(ε(ρ,δ)n + log n)) 的污染具有鲁棒性，其中 ε(ρ,δ) = ρ + 2√(ρ log(1/δ))。
• CWZ21 算法的修改版本通过在剥离步骤中用基本组合替代高级组合，实现了纯 ε-DP，确保在更严格条件下满足隐私要求。