[论文解读] Privacy-Preserving News Recommendation Model Training via Federated Learning.

Tao Qi, Fangzhao Wu+3 more|arXiv (Cornell University)|Mar 21, 2020

Privacy-Preserving Technologies in Data被引用 11

一句话总结

本文提出了一种基于联邦学习的隐私保护新闻推荐框架，其中用户行为数据保留在本地设备上，仅上传经过差分隐私保护的本地计算梯度至中心服务器进行全局模型聚合。该方法在不集中存储用户数据的情况下实现了准确的推荐性能，显著增强了隐私保护。

ABSTRACT

News recommendation aims to display news articles to users based on their personal interest. Existing news recommendation methods rely on centralized storage of user behavior data for model training, which may lead to privacy concerns and risks due to the privacy-sensitive nature of user behaviors. In this paper, we propose a privacy-preserving method for news recommendation model training based on federated learning, where the user behavior data is locally stored on user devices. Our method can leverage the useful information in the behaviors of massive number users to train accurate news recommendation models and meanwhile remove the need of centralized storage of them. More specifically, on each user device we keep a local copy of the news recommendation model, and compute gradients of the local model based on the user behaviors in this device. The local gradients from a group of randomly selected users are uploaded to server, which are further aggregated to update the global model in the server. Since the model gradients may contain some implicit private information, we apply local differential privacy (LDP) to them before uploading for better privacy protection. The updated global model is then distributed to each user device for local model update. We repeat this process for multiple rounds. Extensive experiments on a real-world dataset show the effectiveness of our method in news recommendation model training with privacy protection.

研究动机与目标

• 解决集中式新闻推荐系统中存储敏感用户行为数据所引发的隐私风险。
• 在不收集或在中心服务器存储用户行为数据的情况下，实现准确的新闻推荐模型训练。
• 通过在上传前对模型梯度应用本地差分隐私（LDP），保护用户隐私。
• 通过联邦聚合的迭代全局模型更新，维持模型性能。
• 在真实场景中证明联邦学习在隐私保护新闻推荐中的可行性和有效性。

提出的方法

• 每个用户设备维护一份新闻推荐模型的本地副本，并基于本地用户行为数据计算模型梯度。
• 随机选择一部分用户将其本地计算的梯度上传至中心服务器进行聚合。
• 在上传前对梯度应用本地差分隐私（LDP），以防止潜在的隐私泄露。
• 服务器将经过差分隐私保护的梯度进行聚合，以更新全局推荐模型。
• 更新后的全局模型随后重新分发至所有用户设备，用于本地模型的重新训练。
• 该过程在多轮迭代中重复进行，以在保护用户隐私的同时提升模型准确性。

实验结果

研究问题

• RQ1 联邦学习能否有效应用于训练准确的新闻推荐模型，而无需集中存储用户数据？
• RQ2 对模型梯度应用本地差分隐私（LDP）如何影响推荐系统的性能与隐私保护？
• RQ3 在联邦学习设置下的新闻推荐中，隐私保护与推荐准确性的权衡关系如何？
• RQ4 所提出方法在大规模用户和多样化用户行为场景下的可扩展性如何？
• RQ5 系统能否在确保用户行为数据始终保留在设备上的同时，维持高水平的推荐性能？

主要发现

• 所提出的联邦学习框架在推荐准确性方面与集中式训练方法相比具有竞争力。
• 对梯度应用本地差分隐私有效保护了用户隐私，且未显著降低模型性能。
• 即使在LDP所需的噪声注入下，系统仍能保持较高的模型效用，展现出良好的鲁棒性。
• 用户行为数据在整个训练过程中始终保留在本地设备上，彻底消除了集中式数据泄露的风险。
• 在真实世界数据集上的大量实验验证了该方法在隐私与推荐准确性之间平衡的有效性。
• 迭代式的联邦训练过程成功在多轮迭代中收敛至高性能的全局模型。