[论文解读] The Value of Collaboration in Convex Machine Learning with Differential Privacy

Nan Wu, Farhad Farokhi+2 more|arXiv (Cornell University)|Jun 24, 2019

Privacy-Preserving Technologies in Data参考文献 29被引用 6

一句话总结

本文提出了一种用于分布式非重叠数据集上凸机器学习的差分隐私随机梯度下降框架，其中数据拥有者通过提供带噪声的梯度来保护隐私。研究证明，私有模型与非私有模型之间的性能差距与数据集大小和隐私预算的平方成反比，从而可在训练开始前准确预测隐私-效用权衡。

ABSTRACT

In this paper, we apply machine learning to distributed private data owned by multiple data owners, entities with access to non-overlapping training datasets. We use noisy, differentially-private gradients to minimize the fitness cost of the machine learning model using stochastic gradient descent. We quantify the quality of the trained model, using the fitness cost, as a function of privacy budget and size of the distributed datasets to capture the trade-off between privacy and utility in machine learning. This way, we can predict the outcome of collaboration among privacy-aware data owners prior to executing potentially computationally-expensive machine learning algorithms. Particularly, we show that the difference between the fitness of the trained machine learning model using differentially-private gradient queries and the fitness of the trained machine model in the absence of any privacy concerns is inversely proportional to the size of the training datasets squared and the privacy budget squared. We successfully validate the performance prediction with the actual performance of the proposed privacy-aware learning algorithms, applied to: financial datasets for determining interest rates of loans using regression; and detecting credit card frauds using support vector machines.

研究动机与目标

• 实现多个数据拥有者之间在非重叠数据集上的隐私保护机器学习。
• 量化分布式凸优化中模型效用与差分隐私之间的权衡。
• 在执行前基于数据集大小和隐私预算预测协作式机器学习的性能。
• 使用真实金融数据集对线性回归和SVM进行理论边界的验证。
• 通过提供训练前的性能预估，支持受监管环境中数据共享决策。

提出的方法

• 学习者向分布式的数据拥有者提交梯度查询，后者通过添加校准噪声提供差分隐私梯度。
• 使用步长与迭代次数成反比、且与迭代次数平方成反比的随机梯度下降法，适用于光滑性和强凸性条件。
• 对于非强凸问题，应用平均化层以降低噪声影响，步长随迭代次数的平方根倒数递减。
• 理论分析推导了私有与非私有模型之间适应度代价差异的边界，表明其与 n² 和 ϵ² 呈反比关系。
• 在真实世界金融数据集上使用线性回归和支持向量机进行实证验证。
• 该框架假设数据拥有者为诚实但好奇的实体，且存在一个中心学习者，通信结构为星型拓扑。

实验结果

研究问题

• RQ1 在分布式凸机器学习中，隐私-效用权衡如何依赖于数据集大小和隐私预算？
• RQ2 理论边界是否能准确预测实际中差分隐私学习的性能？
• RQ3 何种步长调度策略可确保收敛并最小化私有与非私有模型适应度之间的差距？
• RQ4 缺乏强凸性如何影响差分隐私SGD的收敛性和效用？
• RQ5 所提出的框架能否在金融和能源等受监管领域支持实际的数据共享决策？

主要发现

• 在光滑性和强凸性条件下，私有与非私有模型之间的适应度代价差异与总数据集大小的平方和隐私预算的平方成反比。
• 对于非强凸问题，适应度差距与数据集大小和隐私预算成反比（非平方关系），需通过平均化层稳定收敛。
• 在金融数据集上的实证结果证实了相对适应度误差的预测缩放关系 ∼1/ϵ² 和 ∼1/n²。
• 对模型性能差距的理论边界上限是紧致的，并能准确反映现实应用中的实际性能。
• 该框架使数据拥有者能够提前预测模型效用，从而支持隐私预算分配的明智决策。
• 该方法支持去中心化部署，允许数据拥有者作为学习者自主设置其隐私预算。