[论文解读] On the Sample Complexity of Privately Learning Unbounded High-Dimensional Gaussians.

Ishaq Aden-Ali, Hassan Ashtiani+1 more|arXiv (Cornell University)|Jan 1, 2020

Privacy-Preserving Technologies in Data被引用 6

一句话总结

该论文首次建立了在近似差分隐私下，对无参数限制的高维多变量正态分布进行私有学习的有限样本复杂度上界。论文提出了新颖的分析工具，通过改进的差分隐私假设选择技术，从局部覆盖构造全局局部小覆盖，实现了在协方差为单位阵情况下的近最优样本复杂度，并推测在一般情况下也达到近最优。

ABSTRACT

We provide sample complexity upper bounds for agnostically learning multivariate Gaussians under the constraint of approximate differential privacy. These are the first finite sample upper bounds for general Gaussians which do not impose restrictions on the parameters of the distribution. Our bounds are near-optimal in the case when the covariance is known to be the identity, and conjectured to be near-optimal in the general case. From a technical standpoint, we provide analytic tools for arguing the existence of global locally small covers from local covers of the space. These are exploited using modifications of recent techniques for differentially private hypothesis selection. Our techniques may prove useful for privately learning other distribution classes which do not possess a finite cover.

研究动机与目标

• 填补在近似差分隐私下私有学习多变量正态分布的样本复杂度边界之间的空白。
• 发展从高维空间中局部覆盖构造全局局部小覆盖的一般性技术。
• 实现在不施加均值或协方差参数约束条件下的正态分布私有学习。
• 将近期差分隐私假设选择方法扩展至处理无界、高维分布。
• 为缺乏有限覆盖的其他分布类提供理论基础。

提出的方法

• 开发分析工具，从参数空间的局部覆盖推导出全局局部小覆盖。
• 对近期差分隐私假设选择框架进行修改，以适应无界正态分布。
• 利用局部覆盖控制假设类的复杂度，同时保持隐私性。
• 建立高维空间中几何覆盖性质与隐私-效用权衡之间的联系。
• 形式化了从私有学习到构造参数空间中小而局部有界的覆盖的约化。
• 利用高维正态分布的集中与反集中性质，界定了所需样本数。

实验结果

研究问题

• RQ1 当对均值或协方差不施加任何限制时，私有学习高维正态分布的最优样本复杂度是多少？
• RQ2 在隐私约束下，如何从高维参数空间中的局部覆盖构造出全局小覆盖？
• RQ3 差分隐私假设选择能否扩展至无界、高维分布（如多变量正态分布）？
• RQ4 参数空间的结构与私有学习中样本复杂度之间的关系是什么？
• RQ5 所提出的边界在单位协方差情况下是否近似最优？能否推广至一般协方差矩阵？

主要发现

• 该论文首次为无参数限制的一般多变量正态分布的私有学习提供了有限样本复杂度上界。
• 在单位协方差情况下，所提边界的近似最优，与已知下界仅相差对数因子。
• 作者推测，即使在任意协方差矩阵的一般情况下，该边界也达到近似最优。
• 从局部覆盖构造全局局部小覆盖的技术具有一般性，可能适用于其他缺乏有限覆盖的分布类。
• 经修改的私有假设选择框架通过利用几何与概率性质，成功处理了无界、高维分布。
• 研究结果为连续、高维分布的私有学习建立了新的理论基础，超越了具有有限覆盖的分布类。