[论文解读] Optimal Differentially Private ADMM for Distributed Machine Learning.

Jiahao Ding, Yanmin Gong+2 more|arXiv (Cornell University)|Jan 7, 2019

Privacy-Preserving Technologies in Data被引用 20

一句话总结

该论文提出P-ADMM，一种差分隐私ADMM算法，通过在每次迭代中注入方差线性衰减的高斯噪声，实现动态零集中差分隐私（dynamic zCDP）。该方法在保持与非私有ADMM相同收敛速率（一般凸问题为$Ó(1/K)$，强凸问题为线性收敛）的同时，提供了强有力的隐私保障，并在真实世界数据集上优于现有的私有ADMM方法。

ABSTRACT

Due to massive amounts of data distributed across multiple locations, distributed machine learning has attracted a lot of research interests. Alternating Direction Method of Multipliers (ADMM) is a powerful method of designing distributed machine learning algorithm, whereby each agent computes over local datasets and exchanges computation results with its neighbor agents in an iterative procedure. There exists significant privacy leakage during this iterative process if the local data is sensitive. In this paper, we propose a differentially private ADMM algorithm (P-ADMM) to provide dynamic zero-concentrated differential privacy (dynamic zCDP), by inserting Gaussian noise with linearly decaying variance. We prove that P-ADMM has the same convergence rate compared to the non-private counterpart, i.e., $\mathcal{O}(1/K)$ with $K$ being the number of iterations and linear convergence for general convex and strongly convex problems while providing differentially private guarantee. Moreover, through our experiments performed on real-world datasets, we empirically show that P-ADMM has the best-known performance among the existing differentially private ADMM based algorithms.

研究动机与目标

• 解决分布式机器学习中敏感数据存储于多个参与方时的隐私泄露问题。
• 设计一种差分隐私ADMM变体，确保在迭代计算过程中的强隐私保障。
• 在注入噪声以保障隐私的同时，保持标准ADMM的收敛特性。
• 在真实世界数据集上，实现差分隐私ADMM算法中的最先进性能。

提出的方法

• 提出P-ADMM，一种在每次迭代中注入方差线性衰减的高斯噪声的差分隐私ADMM。
• 使用动态零集中差分隐私（dynamic zCDP）来量化随时间累积的隐私损失。
• 采用随迭代次数线性递减的噪声缩放策略，以平衡隐私与收敛性能。
• 保留ADMM的迭代更新结构，即各参与方本地计算并与其他邻居交换更新信息。
• 利用zCDP组合性质推导隐私损失的理论边界，确保累积的隐私保障。
• 采用标准ADMM更新规则，对对偶变量和一致性变量进行扰动，以确保差分隐私。

实验结果

研究问题

• RQ1 差分隐私ADMM算法能否保持与非私有版本相同的收敛速率？
• RQ2 如何有效将动态zCDP应用于迭代式分布式优化，以确保强隐私？
• RQ3 在ADMM中，何种噪声注入策略能有效平衡隐私与收敛性能？
• RQ4 P-ADMM在实践中与现有差分隐私ADMM方法相比表现如何？

主要发现

• P-ADMM在一般凸问题上实现了与非私有ADMM相同的收敛速率，收敛速率为$Ó(1/K)$。
• 对于强凸问题，P-ADMM表现出线性收敛，与非私有版本一致。
• 通过精心调校的噪声注入，该算法实现了动态零集中差分隐私（dynamic zCDP）。
• 在真实世界数据集上的实证评估表明，P-ADMM在模型准确率和收敛性能方面均优于现有的基于差分隐私ADMM的方法。
• 噪声方差随迭代次数线性衰减，有助于在确保强隐私的同时保持模型效用。