[论文解读] Private Center Points and Learning of Halfspaces

Amos Beimel, Shay Moran+2 more|arXiv (Cornell University)|Feb 27, 2019

Privacy-Preserving Technologies in Data参考文献 29被引用 6

一句话总结

本文提出了一种针对有限域 $X \subset \mathbb{R}^d$ 上的半空间的差分隐私学习算法，其样本复杂度为 $\mathop{\rm{poly}}\nolimits(d, 2^{\log^* |X|})$，通过一种新颖的差分隐私算法实现对 $m$ 个点的近似中心点计算。关键贡献在于建立了差分隐私中心点计算与半空间差分隐私学习之间的联系，表明在近似差分隐私下，此类学习可在 $|X|$ 的亚对数样本复杂度下实现。

ABSTRACT

We present a private learner for halfspaces over an arbitrary finite domain $X\subset \mathbb{R}^d$ with sample complexity $mathrm{poly}(d,2^{\log^*|X|})$. The building block for this learner is a differentially private algorithm for locating an approximate center point of $m>\mathrm{poly}(d,2^{\log^*|X|})$ points -- a high dimensional generalization of the median function. Our construction establishes a relationship between these two problems that is reminiscent of the relation between the median and learning one-dimensional thresholds [Bun et al.\ FOCS '15]. This relationship suggests that the problem of privately locating a center point may have further applications in the design of differentially private algorithms. We also provide a lower bound on the sample complexity for privately finding a point in the convex hull. For approximate differential privacy, we show a lower bound of $m=Ω(d+\log^*|X|)$, whereas for pure differential privacy $m=Ω(d\log|X|)$.

研究动机与目标

• 设计一种针对有限域 $X \subset \mathbb{R}^d$ 上半空间学习的差分隐私算法，其样本复杂度优于纯差分隐私下的结果。
• 建立差分隐私中心点计算与差分隐私半空间学习之间的联系，类似于中位数-阈值学习关系。
• 弥合对半空间、球体和多项式等丰富概念类的近似私有学习理解上的差距。
• 为在纯差分隐私和近似差分隐私下，私有寻找凸包内一点的样本复杂度提供紧致下界。
• 证明即使当 $|C|$ 相对于 $|X|$ 指数增长时，半空间的私有学习仍可在样本复杂度低于 $\log|C|$ 的条件下实现。

提出的方法

• 该方法将私有半空间学习问题约化为从训练数据的凸包中私有计算一点的问题。
• 设计了一种差分隐私算法，用于在高维空间中计算 $m$ 个输入点的近似中心点，该算法推广了中位数函数。
• 中心点算法通过随机采样线性无关子集并采用基于基的表示方法，以确保隐私性和正确性。
• 使用概率论证表明，以高概率，从数据集中随机选取的 $d/2$ 个点是线性无关的，并能张成空间的大部分区域。
• 隐私分析利用输出对单个数据点的敏感性，并应用高级组合定理来限制隐私损失。
• 通过线性代数和浓度不等式，证明算法的正确性，即输出以高概率位于凸包内。

实验结果

研究问题

• RQ1 在近似差分隐私下，能否实现半空间学习的样本复杂度在 $|X|$ 上为次线性？
• RQ2 是否存在差分隐私中心点计算与半空间等几何概念类私有学习之间的一般性联系？
• RQ3 在纯差分隐私和近似差分隐私下，私有计算数据集凸包内一点的最优样本复杂度是多少？
• RQ4 能否将半空间学习的样本复杂度改进至 $O(d \log |X|)$ 以下，该复杂度是纯差分隐私下的必要条件？
• RQ5 该私有中心点算法是否能实现对多项式与球体等更丰富概念类的私有学习？

主要发现

• 本文提出了一种半空间的私有学习器，其样本复杂度为 $\mathop{\rm{poly}}\nolimits(d, 2^{\log^* |X|})$，显著低于纯差分隐私下所需的 $O(d \log |X|)$ 上限。
• 关键洞见是：半空间的私有学习可通过对凸包内一点的私有计算来实现，其核心是使用私有中心点算法。
• 对于近似差分隐私，本文建立了私有寻找凸包内一点的样本复杂度下界为 $\Omega(d + \log^* |X|)$。
• 对于纯差分隐私，凸包成员关系的样本复杂度下界为 $\Omega(d \log |X|)$，与已知的私有半空间学习上界一致。
• 证明了私有中心点算法在高概率下既正确又满足差分隐私，其依赖于随机子集的线性无关性与基表示。
• 分析表明，通过高级组合定理可限制隐私损失，且当数据集足够大时，输出以高概率位于凸包内。