[论文解读] Personalized and Private Peer-to-Peer Machine Learning

Aurélien Bellet, Rachid Guerraoui+2 more|arXiv (Cornell University)|May 23, 2017

Privacy-Preserving Technologies in Data参考文献 1被引用 56

一句话总结

该论文提出一个完全去中心化、异步坐标下降算法，用于在多代理之间学习个性化模型并实现差分隐私，证明收敛性，分析隐私-效用权衡，并展示隐私保护的协作优于孤立的本地模型。

ABSTRACT

The rise of connected personal devices together with privacy concerns call for machine learning algorithms capable of leveraging the data of a large number of agents to learn personalized models under strong privacy requirements. In this paper, we introduce an efficient algorithm to address the above problem in a fully decentralized (peer-to-peer) and asynchronous fashion, with provable convergence rate. We show how to make the algorithm differentially private to protect against the disclosure of information about the personal datasets, and formally analyze the trade-off between utility and privacy. Our experiments show that our approach dramatically outperforms previous work in the non-private case, and that under privacy constraints, we can significantly improve over models learned in isolation.

研究动机与目标

• 由于隐私原因，推动在本地设备上学习个性化模型。
• 通过一个完全去中心化、异步的网络实现多代理之间的协作，无需中央协调者。
• 给出一个基于模型相似性的图正则化多任务目标，将相邻代理耦合起来。
• 开发一个差分隐私机制并分析由此产生的效用损失。
• 通过合成数据和真实数据的实验验证该方法，在隐私保护下相对于孤立模型具有收益。

提出的方法

• 提出一个去中心化的坐标下降算法，在 n 个代理上最小化一个图正则化的目标函数。
• 使用基于拉普拉斯的平滑项，在多任务设置中耦合相邻代理的模型。
• 推导每个代理的区块更新，融合邻居信息与本地梯度步伐。
• 通过向每个本地梯度/更新添加拉普拉斯噪声，扩展为差分隐私版本。
• 给出收敛性分析，在非私有情形下在强凸条件下表明线性收敛。
• 分析隐私-效用权衡，并就噪声尺度设定和预算分配提供指导。

实验结果

研究问题

• RQ1 一个完全去中心化、异步框架是否能提升个性化模型超过纯本地训练？
• RQ2 提出的去中心化坐标下降在异步性下的收敛行为如何？
• RQ3 差分隐私如何影响效用，以及如何对噪声进行扩展以平衡隐私与准确性？
• RQ4 在完全分布式设置中，迭代中的隐私预算分配有哪些有效策略？

主要发现

方法	每用户测试RMSE
纯本地模型	1.2834
非私有 CD	0.9502
私有 εbar=1	0.9527
私有 εbar=0.5	0.9545
私有 εbar=0.1	0.9855

• 在非私有的情况下，当目标函数具强凸性时，去中心化坐标下降实现线性收敛。
• 隐私保护扩展在每次更新中加入拉普拉斯噪声，仍然具有可量化的隐私预算的差分隐私性。
• 由于隐私导致的效用损失可分解为类似非私有速率的衰减项+一个叠加噪声项，当噪声恒定时收敛到有限界。
• 在隐私约束下，私有模型在准确度上仍可优于纯本地模型（例如在 MovieLens-100K 任务上）。
• 对合成线性分类问题和真实数据的实验确认了更快的收敛性以及与理论一致的隐私-效用权衡。