[论文解读] Privacy Aware Learning

John C. Duchi, Michael I. Jordan+1 more|arXiv (Cornell University)|Oct 7, 2012

Privacy-Preserving Technologies in Data参考文献 50被引用 64

一句话总结

本文提出了一种隐私感知学习框架，其中数据通过本地隐私机制受到保护，免受学习者访问，建立了隐私（以微分隐私参数衡量）与统计估计效用之间的精确权衡。该文推导了风险最小化收敛速率的紧致上下界，表明在 $\alpha$-微分隐私下，估计误差的尺度为 $\Theta(\sqrt{d}/\alpha)$，揭示了隐私与学习效率之间的根本性权衡。

ABSTRACT

We study statistical risk minimization problems under a privacy model in which the data is kept confidential even from the learner. In this local privacy framework, we establish sharp upper and lower bounds on the convergence rates of statistical estimation procedures. As a consequence, we exhibit a precise tradeoff between the amount of privacy the data preserves and the utility, as measured by convergence rate, of any statistical estimator or learning procedure.

研究动机与目标

• 为了形式化学习系统中数据隐私与统计估计效用之间的权衡。
• 为了分析本地隐私机制（即数据在到达学习者之前被扰动）对统计估计器收敛速率的影响。
• 为了在隐私约束下推导估计误差的极小化最大下界和匹配的上界。
• 为了量化隐私水平（通过微分隐私参数 $\alpha$）对风险最小化收敛速度的影响。
• 为了基于凸损失函数和基于优化的方法，为隐私感知学习提供决策理论基础。

提出的方法

• 该框架将学习建模为在紧致凸参数集 $\Theta \subset \mathbb{R}^d$ 上的统计风险最小化，使用凸损失函数 $\ell$。
• 学习者并非直接观察原始数据 $X_i$，而是仅能访问通过隐私诱导通道 $Q$ 生成的扰动版本 $Z_i$。
• 本文采用本地隐私模型，其中隐私保证通过微分隐私实现，具体为对最终估计器 $\widehat{\theta}_n$ 的 $\alpha$-微分隐私。
• 采用带正则化的风险最小化方法的镜面下降法，基于次梯度的 $\infty$-范数（记为 $M_\infty$）推导收敛界。
• 分析使用线性规划在由隐私机制导出的约束下对 $t$（与 $M_\infty$ 相关）进行下界估计，从而得到 $M_\infty \leq \sqrt{d}/(c\alpha)$ 的界。
• 关键技术步骤涉及分析与固定 $x$ 内积为正的 $z \in \{-1,1\}^d$ 的和，利用组合恒等式和二项式系数的斯特林近似。

实验结果

研究问题

• RQ1 隐私（以微分隐私参数 $\alpha$ 衡量）与统计估计器收敛速率之间的根本权衡是什么？
• RQ2 能否在本地隐私模型下为隐私感知学习中的估计误差建立紧致的上下界？
• RQ3 参数空间的维度 $d$ 如何影响风险最小化中的隐私-效用权衡？
• RQ4 当数据在被学习者看到之前已被扰动时，在 $\alpha$-微分隐私下估计器的最优收敛速率是什么？
• RQ5 能否通过极小化最大分析，独立于特定学习算法来刻画隐私-效用权衡？

主要发现

• 风险 $R(\widehat{\theta}_n)$ 到最优风险的收敛速率被限制在 $O(\sqrt{d}/\alpha)$ 之内，与下界匹配，确立了精确的权衡。
• 分析表明，次梯度的 $\infty$-范数 $M_\infty$ 的上界为 $O(\sqrt{d}/\alpha)$，这直接控制了镜面下降的收敛速率。
• 对于奇数 $d$，和 $\sum_{z:\langle z,x\rangle>0} z = \binom{d-1}{(d-1)/2} x$，这是推导 $M_\infty$ 上界的关键恒等式。
• 利用斯特林近似，隐私通道中 $q_+ - q_-$ 的差异被证明为 $\Omega(\alpha / \sqrt{d})$，从而导致 $\sqrt{d}/\alpha$ 的缩放关系。
• 估计误差速率的下界与镜面下降法得到的上界相匹配，证明了该权衡的紧致性。
• 结果在本地隐私模型下成立，即每个数据点在学习前均被扰动，且隐私保证通过最终估计器的微分隐私实现。