[论文解读] Per-instance Differential Privacy and the Adaptivity of Posterior Sampling in Linear and Ridge regression.

Yuxiang Wang|arXiv (Cornell University)|Jul 24, 2017

Advanced Causal Inference Techniques被引用 3

一句话总结

本文提出了逐实例差分隐私（pDP），一种细粒度的隐私概念，根据特定数据集量化个体隐私，表明当数据为独立同分布（i.i.d.）时，该概念可保证泛化性。本文分析了线性回归与岭回归中的单后验抽样（OPS）估计器，证明其在数据条件良好时可实现$(\epsilon,\delta)$-pDP，并在$1+\tilde{O}(n^{-1}\epsilon^{-2})$因子范围内达到理论下限，模拟结果表明该方法在数据集中个体的隐私-效用权衡上表现更优。

ABSTRACT

Differential privacy (DP), ever since its advent, has been a controversial object. On the one hand, it provides strong provable protection of individuals in a data set, on the other hand, it has been heavily criticized for being not practical, partially due to its complete independence to the actual data set it tries to protect. In this paper, we address this issue by a new and more fine-grained notion of differential privacy --- per instance differential privacy (pDP), which captures the privacy of a specific individual with respect to a fixed data set. We show that this is a strict generalization of the standard DP and inherits all its desirable properties, e.g., composition, invariance to side information and closedness to postprocessing, except that they all hold for every instance separately. When the data is drawn from a distribution, we show that per-instance DP implies generalization. Moreover, we provide explicit calculations of the per-instance DP for the output perturbation on a class of smooth learning problems. The result reveals an interesting and intuitive fact that an individual has stronger privacy if he/she has small leverage score with respect to the data set and if he/she can be predicted more accurately using the leave-one-out data set. Using the developed techniques, we provide a novel analysis of the One-Posterior-Sample (OPS) estimator and show that when the data set is well-conditioned it provides $(\epsilon,\delta)$-pDP for any target individuals and matches the exact lower bound up to a $1+ ilde{O}(n^{-1}\epsilon^{-2})$ multiplicative factor. We also propose AdaOPS which uses adaptive regularization to achieve the same results with $(\epsilon,\delta)$-DP. Simulation shows several orders-of-magnitude more favorable privacy and utility trade-off when we consider the privacy of only the users in the data set.

研究动机与目标

• 通过引入依赖数据、实例特定的隐私概念，回应标准差分隐私过于保守的批评。
• 提出一种新的隐私框架——逐实例差分隐私（pDP），以针对固定数据集量化个体隐私。
• 证明当数据为i.i.d.时，pDP可保证泛化性，并继承标准DP的核心性质（如组合性与后处理不变性），但以逐实例方式应用。
• 分析在pDP框架下，线性与岭回归中单后验抽样（OPS）估计器的隐私保障。
• 提出AdaOPS，一种自适应正则化方法，可在实现$(\epsilon,\delta)$-DP的同时，使pDP的理论下限达到接近最优的因子。

提出的方法

• 将逐实例差分隐私（pDP）定义为标准DP的严格推广，其中隐私保障按每个个体和固定数据集分别计算。
• 证明pDP在每个数据实例上独立保持标准DP的关键性质——组合性、后处理不变性与群体隐私。
• 分析平滑学习问题中的输出扰动，推导出显式的pDP边界，揭示隐私程度取决于杠杆值与留一法预测精度。
• 将pDP框架应用于单后验抽样（OPS）估计器，证明当数据矩阵条件良好时，对任意目标个体，OPS可实现$(\epsilon,\delta)$-pDP。
• 提出AdaOPS，利用自适应正则化实现与OPS相同的pDP保障，同时确保标准$(\epsilon,\delta)$-DP。
• 通过显式计算岭回归的pDP，表明杠杆值低且留一法模型预测准确性高的个体可获得更强的隐私保护。

实验结果

研究问题

• RQ1 能否定义一种更细粒度的差分隐私概念，使其依赖于特定数据集与个体，而非对所有输入保持一致？
• RQ2 当数据为i.i.i.d.时，逐实例差分隐私是否能保证泛化性？其与标准DP的关系如何？
• RQ3 在逐实例DP下，线性与岭回归中单后验抽样（OPS）估计器的隐私-效用权衡如何？
• RQ4 能否通过实际估计器达到pDP的理论下限？OPS估计器与该下限的接近程度如何？
• RQ5 AdaOPS中的自适应正则化相比标准DP机制，如何改善隐私-utility权衡？

主要发现

• 逐实例差分隐私（pDP）是标准DP的严格推广，并在每个数据实例上独立继承所有理想性质——组合性、后处理不变性与群体隐私。
• 当数据为i.i.i.d.时，pDP可保证泛化性，将个体隐私与统计学习性能联系起来。
• 在pDP下，个体的隐私更强当其杠杆值较低且能通过留一法数据集更准确预测时。
• 单后验抽样（OPS）估计器在数据条件良好时，对任意目标个体均可实现$(\epsilon,\delta)$-pDP，且在$1+\tilde{O}(n^{-1}\epsilon^{-2})$因子范围内达到理论下限。
• AdaOPS通过自适应正则化，实现了与OPS相同的pDP保障，同时确保标准$(\epsilon,\delta)$-DP，模拟结果表明其在数据集个体的隐私-效用权衡上实现数个数量级的改进。
• 对岭回归的显式pDP计算表明，隐私并非在个体间均匀分布，而是依赖于数据特定属性（如杠杆值与预测精度）。