[论文解读] Privacy-Preserving Distributed Learning with Secret Gradient Descent.

Valentin Hartmann, Robert West|arXiv (Cornell University)|Jun 27, 2019

Privacy-Preserving Technologies in Data参考文献 26被引用 6

一句话总结

本文提出秘密梯度下降（SecGD），一种保护隐私的分布式学习方法，使客户端能够在不暴露原始数据的情况下协作训练机器学习模型。通过使用安全消息传递和匿名化网络（如Tor）进行临时噪声的添加与移除，SecGD确保即使恶意服务器也无法将梯度与特定客户端关联，从而在仅需两个诚实客户端的情况下，基于子集和问题的计算困难性实现计算隐私。

ABSTRACT

In many important application domains of machine learning, data is a privacy-sensitive resource. In addition, due to the growing complexity of the models, single actors typically do not have sufficient data to train a model on their own. Motivated by these challenges, we propose Secret Gradient Descent (SecGD), a method for training machine learning models on data that is spread over different clients while preserving the privacy of the training data. We achieve this by letting each client add temporary noise to the information they send to the server during the training process. They also share this noise in separate messages with the server, which can then subtract it from the previously received values. By routing all data through an anonymization network such as Tor, we prevent the server from knowing which messages originate from the same client, which in turn allows us to show that breaking a client's privacy is computationally intractable as it would require solving a hard instance of the subset sum problem. This setup allows SecGD to work in the presence of only two honest clients and a malicious server, and without the need for peer-to-peer connections.

研究动机与目标

• 解决在不集中收集数据的情况下，对分布式隐私敏感数据进行机器学习模型训练的挑战。
• 在仅两个客户端为诚实方且服务器可能为恶意方的环境中，实现安全的模型训练。
• 通过密码学噪声和匿名化通信，防止服务器将梯度与特定客户端关联。
• 在不依赖对等连接的前提下，维持强隐私保障。

提出的方法

• 每个客户端在将梯度发送给服务器前，为其添加临时噪声。
• 客户端分别将噪声值发送给服务器，使服务器能够重建并从接收到的梯度中减去噪声。
• 所有通信均通过匿名化网络（如Tor）进行，以隐藏消息的来源。
• 该系统依赖于子集和问题的计算不可解性，以防止隐私泄露。
• 服务器使用清理后的梯度执行标准梯度下降，而客户端始终不暴露原始数据。
• 该协议确保即使面对恶意服务器，重新识别客户端数据的概率在计算上也可忽略不计。

实验结果

研究问题

• RQ1 我们能否在分布式客户端之间协作训练机器学习模型，同时保护个体训练数据的隐私？
• RQ2 在仅有两个诚实客户端且服务器可能为恶意方的情况下，是否能够实现强隐私保障？
• RQ3 我们能否在不依赖对等通信的前提下，防止服务器将梯度与特定客户端关联？
• RQ4 使用噪声混淆与匿名化路由是否能构建一个计算安全的系统？
• RQ5 该协议的安全性是否可归约为子集和问题等知名难题？

主要发现

• 在假设子集和问题计算困难的前提下，该协议实现了客户端数据的信息论隐私。
• 即使面对恶意服务器，由于底层问题的密码学困难性，重新识别客户端数据的概率也可忽略不计。
• 该方法仅需两个诚实客户端即可安全运行，具备实际部署的可行性。
• 通过Tor实现的匿名化可防止服务器将消息关联至同一客户端，增强对推理攻击的抵抗力。
• 该协议无需对等连接，简化了在资源受限环境中的部署。
• 系统在模型准确率方面与标准分布式训练相当，因为噪声在梯度更新前已被移除。