[论文解读] Privacy and Statistical Risk: Formalisms and Minimax Bounds

Rina Foygel Barber, John C. Duchi|arXiv (Cornell University)|Dec 15, 2014

Privacy-Preserving Technologies in Data参考文献 22被引用 49

一句话总结

本文形式化并比较了多种隐私定义——如差分隐私、近似差分隐私和基于测试的隐私——在特定条件下展示了它们的等价性。文章推导了在这些隐私约束下的统计估计的极小极大风险界，揭示了不同隐私定义导致相似的统计性能，尽管在维度和矩假设上的依赖性有所不同。

ABSTRACT

We explore and compare a variety of definitions for privacy and disclosure limitation in statistical estimation and data analysis, including (approximate) differential privacy, testing-based definitions of privacy, and posterior guarantees on disclosure risk. We give equivalence results between the definitions, shedding light on the relationships between different formalisms for privacy. We also take an inferential perspective, where---building off of these definitions---we provide minimax risk bounds for several estimation problems, including mean estimation, estimation of the support of a distribution, and nonparametric density estimation. These bounds highlight the statistical consequences of different definitions of privacy and provide a second lens for evaluating the advantages and disadvantages of different techniques for disclosure limitation.

研究动机与目标

• 形式化并比较统计估计中多种隐私定义，包括差分隐私、近似差分隐私和基于测试的隐私。
• 通过估计问题的极小极大风险界，分析这些隐私定义的统计后果。
• 评估在均值估计、支撑集估计和密度估计中，披露风险与统计性能之间的权衡。
• 在不同隐私约束下提供极小极大最优的估计程序，突出其在维度和矩依赖性上的差异。
• 为理解统计推断中隐私-效用权衡提供统一框架，尤其针对总体参数而非原始数据。

提出的方法

• 提出一个统一的对抗模型，其中攻击者已知除一个数据点外的所有数据点，并试图推断缺失的数据点。
• 使用多种形式化方法定义隐私：差分隐私（DP）、近似DP、更强的DP变体以及基于测试的定义。
• 利用集中不等式和投影论证，推导估计问题的极小极大下界，特别针对d维均值估计。
• 提出一种截断均值估计器并引入噪声扰动，以在最小化统计风险的同时实现隐私保护。
• 通过偏差-方差分解来界定均方误差，结合矩假设和截断阈值。
• 通过在不同隐私定义（如KL、差分、近似差分）下对截断水平和噪声方差进行优化，分析隐私-效用权衡。

实验结果

研究问题

• RQ1 不同形式化的隐私定义（如差分隐私和基于测试的定义）在统计影响方面如何相互关联？
• RQ2 在各种隐私约束下，d维分布均值估计的极小极大风险界是什么？
• RQ3 基础分布的矩数对私有估计中的极小极大风险有何影响？
• RQ4 在不同隐私定义下，最优估计误差对维度d和隐私参数（如α, δ）的依赖关系如何？
• RQ5 隐私保护估计器能否实现极小极大最优性？不同形式化方法下的速率比较如何？

主要发现

• 在不同隐私定义下，d维均值估计的极小极大均方误差在分布矩数k的渐近依赖性上表现出相似性。
• 对于α-KL隐私，极小极大风险被界为O(r²/n + r²(d/(n²α_KL))^{(k-1)/k})，显示出样本量、隐私水平和矩假设之间的权衡。
• 在(α,δ)-近似差分隐私下，风险界为O(r²/n + r²(d log(1/δ)/(n²α²))^{(k-1)/k})，表明δ存在对数惩罚。
• 对于采用拉普拉斯噪声的α-差分隐私，风险按O(r²/n + r²(d²/n²α²)^{1/k})缩放，显示出对维度d²的更强依赖性，相较于其他定义。
• 隐私定义的选择会影响极小极大风险的维度依赖性，某些定义在牺牲安全性的情况下提供更优的缩放性能。
• 所提出的截断均值估计器通过适当缩放的噪声，可在所有考虑的隐私定义下实现极小极大最优性，其显式风险界通过偏差-方差分解和集中不等式推导得出。