[论文解读] Priv'IT: Private and Sample Efficient Identity Testing

Bryan Cai, Constantinos Daskalakis+1 more|arXiv (Cornell University)|Mar 29, 2017

Privacy-Preserving Technologies in Data参考文献 22被引用 12

一句话总结

Priv'IT 提出了一种差异隐私身份检验方法，在小样本场景下实现了最优的样本复杂度，兼顾了隐私保护与统计效率。该方法优于现有的噪声卡方检验和基于重复的方法，表明当隐私参数 ε 相对于统计精度 α 足够大时，隐私保护的成本可近乎为零。

ABSTRACT

We develop differentially private hypothesis testing methods for the small sample regime. Given a sample $\cal D$ from a categorical distribution $p$ over some domain $Σ$, an explicitly described distribution $q$ over $Σ$, some privacy parameter $\varepsilon$, accuracy parameter $α$, and requirements $β_{ m I}$ and $β_{ m II}$ for the type I and type II errors of our test, the goal is to distinguish between $p=q$ and $d_{ m{TV}}(p,q) \geq α$. We provide theoretical bounds for the sample size $|{\cal D}|$ so that our method both satisfies $(\varepsilon,0)$-differential privacy, and guarantees $β_{ m I}$ and $β_{ m II}$ type I and type II errors. We show that differential privacy may come for free in some regimes of parameters, and we always beat the sample complexity resulting from running the $χ^2$-test with noisy counts, or standard approaches such as repetition for endowing non-private $χ^2$-style statistics with differential privacy guarantees. We experimentally compare the sample complexity of our method to that of recently proposed methods for private hypothesis testing.

研究动机与目标

• 解决在确保 (ε,0)-差异隐私的前提下对敏感数据进行身份检验的挑战。
• 在类型 I 和类型 II 错误率（β_I, β_II）严格受限的条件下最小化样本复杂度。
• 开发一种在小样本场景下保持高统计效能的同时保护隐私的方法。
• 证明在某些参数范围内，差异隐私可实现几乎无额外样本开销，甚至无需增加样本量。

提出的方法

• 提出一种基于隐私化经验频数和定制化统计检验的新型私有假设检验框架。
• 使用经 (ε,0)-差异隐私校准的噪声版本卡方检验统计量。
• 应用基于投影的机制，以稳定低概率区域中计数稀疏时的检验统计量。
• 引入一个依赖于 √n/α²、√n/(α³/²ε) 和 n¹/³/(α⁵/³ε²/³) 的样本量边界，且对 1/β 具有对数依赖性。
• 通过精心设计的噪声添加机制确保隐私，同时保持统计效用。
• 利用理论分析证明该方法可实现 (ε,0)-差异隐私及所需的误差保证。

实验结果

研究问题

• RQ1 在身份检验中，是否能以极低的样本复杂度开销实现差异隐私？
• RQ2 在何种参数范围内，差异隐私可实现‘免费’，即无需增加样本量？
• RQ3 Priv'IT 与现有私有假设检验方法（如 GLRV16 和 KR17）相比，在样本效率方面表现如何？
• RQ4 分布结构（如重尾分布或直方图式分布）对私有身份检验性能有何影响？
• RQ5 在实践中，(原生) 差异隐私是否比基于 zCDP 的方法具有更高的样本效率？

主要发现

• Priv'IT 实现了 Õ(max{√n/α², √n/(α³/²ε), n¹/³/(α⁵/³ε²/³}) · log(1/β) 的样本复杂度，相较于对数因子为最优。
• 当 ε = Ω(√α) 时，隐私保护可实现‘免费’，例如 ε = 10% 且 α = 3%，意味着无需额外样本即可实现隐私保护。
• 实验表明，Priv'IT 在所有测试分布（包括支持稀疏的 2-直方图）中均优于 zCDP-GOF 和 MCGOF。
• 在近似差异隐私（δ > 0）的均匀性检验中，Priv'IT 在所有测试的 δ 值下均比 zCDP-GOF 所需样本更少。
• Priv'IT 比 zCDP-GOF 更节省内存，后者需要 O(n²) 矩阵运算，在 n = 11,800 时已耗尽内存。
• Priv'IT 在运行时间上也更优，可在相同时间内处理更大的支持规模（例如 n = 20,000），而 MCGOF 仅能处理到 n = 10,000。