[论文解读] The Large Margin Mechanism for Differentially Private Maximization

Kamalika Chaudhuri, Daniel Hsu+1 more|arXiv (Cornell University)|Sep 7, 2014

Privacy-Preserving Technologies in Data参考文献 12被引用 20

一句话总结

本文提出了大型边缘机制（LMM），一种新颖的差分隐私算法，用于在离散全集上最大化依赖于数据的函数。通过利用最高值与第二高值之间的大边缘，LMM 实现了与范围无关的效用——其误差仅对近似最大值的数量对数依赖，而非整个全集大小——同时保证了近似差分隐私，使其成为首个通用的、与范围无关的私有最大化解决方案。

ABSTRACT

A basic problem in the design of privacy-preserving algorithms is the private maximization problem: the goal is to pick an item from a universe that (approximately) maximizes a data-dependent function, all under the constraint of differential privacy. This problem has been used as a sub-routine in many privacy-preserving algorithms for statistics and machine-learning. Previous algorithms for this problem are either range-dependent---i.e., their utility diminishes with the size of the universe---or only apply to very restricted function classes. This work provides the first general-purpose, range-independent algorithm for private maximization that guarantees approximate differential privacy. Its applicability is demonstrated on two fundamental tasks in data mining and machine learning.

研究动机与目标

• 解决在离散全集上设计针对数据依赖函数最大化的差分隐私算法的根本挑战。
• 克服先前方法的关键局限——范围依赖性，即当全集规模增大时效用下降，即使存在明确的最大值点。
• 开发一种通用算法，保证近似差分隐私，且无需对目标函数施加限制性假设。
• 证明该方法在核心机器学习和数据挖掘任务中的适用性，如私有PAC学习和频繁项集挖掘。
• 通过证明下界，建立理论极限，表明在近似差分隐私下，效用必须随近似最大值数量的增加而下降。

提出的方法

• 提出大型边缘机制（LMM），首先通过差分隐私计数估计在最大值边缘范围内的近似最大值项数 ℓ。
• 仅在目标函数 f(i,D) 取前 ℓ 个值的项集合上应用指数机制，而非整个全集。
• 利用第 ℓ 个和第 (ℓ+1) 个最高值之间的边缘 γ，确保在缩减集合上应用指数机制可保持近似差分隐私。
• 使用截断的指数机制以确保有界灵敏度并提升效用，噪声水平根据边缘大小和近似最大值数量进行校准。
• 证明在温和条件下，该机制满足 (ε,δ)-差分隐私，且效用仅对 ℓ 对数依赖，而非全集大小 K。
• 提出一种新颖的分析框架，将目标函数的边缘结构与隐私和效用保证联系起来。

实验结果

研究问题

• RQ1 能否设计一种与全集大小 K 无关的通用差分隐私最大化算法？
• RQ2 是否可能在不施加对目标函数 f 的限制性条件的情况下，实现在私有最大化中的与范围无关性？
• RQ3 在存在多个近似最大值项时，私有最大化的隐私与效用之间存在何种根本权衡？
• RQ4 能否利用最高函数值之间的大边缘来提升效用，同时保持隐私？
• RQ5 在近似差分隐私下，私有最大化的信息论极限是什么？

主要发现

• 大型边缘机制在仅要求目标函数 f 具备 (1/n)-Lipschitz 连续性的前提下，实现了 (ε,δ)-差分隐私，无需对 f 施加其他假设。
• LMM 的效用仅对近似最大值数量 ℓ 对数依赖，而非对全集大小 K 的线性或多项式依赖，实现了真正的与范围无关性。
• 下界证明表明，任何 (ε,δ)-差分隐私的私有最大化算法的效用都必须随 ℓ 增大而下降，证明 LMM 的依赖关系在对数因子范围内是最优的。
• LMM 是首个同时保证近似差分隐私和与范围无关效用的通用私有最大化算法。
• 在私有PAC学习中，LMM 通过用 log|H(t*)| 替代 log|H| 改进了泛化误差界，其中 H(t*) 是在边缘范围内的不断缩小的假设集合，显著提升了样本效率。
• 在频繁项集挖掘中，LMM 首次实现了既保证近似差分隐私，又实现与项集全集大小无关的效用。