[论文解读] Private Empirical Risk Minimization Beyond the Worst Case: The Effect of the Constraint Set Geometry

Kunal Talwar, Abhradeep Thakurta+1 more|arXiv (Cornell University)|Nov 20, 2014

Privacy-Preserving Technologies in Data参考文献 26被引用 31

一句话总结

本文提出了一种基于约束集几何结构的差分隐私经验风险最小化（ERM）框架，显著改进了误差界。通过使用一种私有的镜像下降（Mirror Descent）方法，作者证明了过剩风险与高斯宽度 $G_{\mathcal{C}}$ 相关，而非维度 $p$，从而在利普希茨损失下得到 $\tilde{O}(G_{\mathcal{C}}/n)$ 的误差界，在 $\ell_1$-有界约束下得到 $\tilde{O}(n^{-2/3})$ 的误差界，并通过匹配的下界证明了近似最优性。

ABSTRACT

Empirical Risk Minimization (ERM) is a standard technique in machine learning, where a model is selected by minimizing a loss function over constraint set. When the training dataset consists of private information, it is natural to use a differentially private ERM algorithm, and this problem has been the subject of a long line of work started with Chaudhuri and Monteleoni 2008. A private ERM algorithm outputs an approximate minimizer of the loss function and its error can be measured as the difference from the optimal value of the loss function. When the constraint set is arbitrary, the required error bounds are fairly well understood \cite{BassilyST14}. In this work, we show that the geometric properties of the constraint set can be used to derive significantly better results. Specifically, we show that a differentially private version of Mirror Descent leads to error bounds of the form $ ilde{O}(G_{\mathcal{C}}/n)$ for a lipschitz loss function, improving on the $ ilde{O}(\sqrt{p}/n)$ bounds in Bassily, Smith and Thakurta 2014. Here $p$ is the dimensionality of the problem, $n$ is the number of data points in the training set, and $G_{\mathcal{C}}$ denotes the Gaussian width of the constraint set that we optimize over. We show similar improvements for strongly convex functions, and for smooth functions. In addition, we show that when the loss function is Lipschitz with respect to the $\ell_1$ norm and $\mathcal{C}$ is $\ell_1$-bounded, a differentially private version of the Frank-Wolfe algorithm gives error bounds of the form $ ilde{O}(n^{-2/3})$. This captures the important and common case of sparse linear regression (LASSO), when the data $x_i$ satisfies $|x_i|_{\infty} \leq 1$ and we optimize over the $\ell_1$ ball. We show new lower bounds for this setting, that together with known bounds, imply that all our upper bounds are tight.

研究动机与目标

• 通过利用约束集的几何特性而非依赖最坏情况下的维度，改进差分隐私 ERM 中的过剩风险界。
• 证明约束集 $\mathcal{C}$ 的高斯宽度 $G_{\mathcal{C}}$ 比维度 $p$ 更精细地刻画了隐私-效用权衡。
• 开发一种私有镜像下降算法，实现利普希茨损失函数下的 $\tilde{O}(G_{\mathcal{C}}/n)$ 过剩风险。
• 将分析扩展到强凸和光滑损失函数，证明类似的改进。
• 通过私有 Frank-Wolfe 算法分析 $\ell_1$-有界约束的特殊情况，实现 $\tilde{O}(n^{-2/3})$ 的误差，并通过匹配的下界证明其紧致性。

提出的方法

• 提出一种结合约束集 $\mathcal{C}$ 几何结构的差分隐私镜像下降版本，通过其高斯宽度 $G_{\mathcal{C}}$ 进行建模。
• 将高斯宽度 $G_{\mathcal{C}} = \mathbb{E}_{g \sim \mathcal{N}(0,1)^p}[\sup_{\theta \in \mathcal{C}} \langle \theta, g \rangle]$ 作为关键参数，用于界定过剩风险。
• 建立利普希茨损失函数下形式为 $\tilde{O}(G_{\mathcal{C}}/n)$ 的过剩风险界，优于先前的 $\tilde{O}(\sqrt{p}/n)$ 界。
• 使用私有 Frank-Wolfe 算法分析 $\ell_1$-有界约束集与 $\ell_1$-利普希茨损失函数的情形，实现 $\tilde{O}(n^{-2/3})$ 的误差。
• 证明 $\ell_1$-有界情形下存在匹配的下界 $\Omega(n^{-2/3}/\log^{2/3}n)$，表明该算法近乎最优。
• 通过构建包含共识列和正交向量的困难实例，利用符号一致性与集中度论证证明下界。

实验结果

研究问题

• RQ1 约束集 $\mathcal{C}$ 的几何结构能否被用于改进私有 ERM 的过剩风险界，超越最坏情况下的维度？
• RQ2 高斯宽度 $G_{\mathcal{C}}$ 是否提供了比环境维度 $p$ 更紧致的隐私-效用权衡刻画？
• RQ3 私有镜像下降能否在利普希茨损失函数下实现 $\tilde{O}(G_{\mathcal{C}}/n)$ 的过剩风险？
• RQ4 当约束集为 $\ell_1$-有界且损失为 $\ell_1$-利普希茨时，私有 ERM 的最优过剩风险是多少？
• RQ5 私有 ERM 在 $\ell_1$-有界情形下的 $\tilde{O}(n^{-2/3})$ 误差界是否在对数因子范围内紧致？

主要发现

• 对于利普希茨损失函数，私有 ERM 的过剩风险被界定为 $\tilde{O}(G_{\mathcal{C}}/n)$，其中 $G_{\mathcal{C}}$ 是约束集的高斯宽度，显著优于先前工作的 $\tilde{O}(\sqrt{p}/n)$ 界。
• 对于强凸和光滑损失函数，通过将私有镜像下降框架适配于 $\mathcal{C}$ 的几何结构，同样实现了过剩风险的改进。
• 当损失为 $\ell_1$-利普希茨且约束集 $\mathcal{C}$ 为 $\ell_1$-有界时，私有 Frank-Wolfe 算法实现了 $\tilde{O}(n^{-2/3})$ 的过剩风险。
• 针对 $\ell_1$-有界情形，证明了匹配的下界 $\Omega(n^{-2/3}/\log^{2/3}n)$，表明私有 Frank-Wolfe 算法近乎最优。
• 分析表明，$\mathcal{C}$ 的几何特性（如稀疏性或低高斯宽度）可被利用以实现优于基于维度的界，从而获得更好的隐私-效用权衡。
• 通过包含共识列和正交向量的困难实例构造，验证了结果的紧致性，该构造利用符号一致性与集中度论证确立了下界的紧致性。