[论文解读] Privacy-Preserving News Recommendation Model Learning

Tao Qi, Fangzhao Wu+3 more|arXiv (Cornell University)|Mar 21, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用 10

一句话总结

该论文提出 FedNewsRec，一种基于联邦学习的隐私保护新闻推荐框架，可在用户设备上本地训练模型，无需集中化用户行为数据。通过在聚合过程中对模型梯度应用本地差分隐私，该方法在保持真实世界数据上具有竞争力的推荐准确率的同时，实现了强大的隐私保护。

ABSTRACT

News recommendation aims to display news articles to users based on their personal interest. Existing news recommendation methods rely on centralized storage of user behavior data for model training, which may lead to privacy concerns and risks due to the privacy-sensitive nature of user behaviors. In this paper, we propose a privacy-preserving method for news recommendation model training based on federated learning, where the user behavior data is locally stored on user devices. Our method can leverage the useful information in the behaviors of massive number users to train accurate news recommendation models and meanwhile remove the need of centralized storage of them. More specifically, on each user device we keep a local copy of the news recommendation model, and compute gradients of the local model based on the user behaviors in this device. The local gradients from a group of randomly selected users are uploaded to server, which are further aggregated to update the global model in the server. Since the model gradients may contain some implicit private information, we apply local differential privacy (LDP) to them before uploading for better privacy protection. The updated global model is then distributed to each user device for local model update. We repeat this process for multiple rounds. Extensive experiments on a real-world dataset show the effectiveness of our method in news recommendation model training with privacy protection.

研究动机与目标

• 解决新闻推荐系统中用户行为数据集中存储带来的隐私风险。
• 在不收集或存储中央服务器上的用户行为数据的前提下，实现准确新闻推荐模型的协同训练。
• 通过在联邦训练过程中交换的模型梯度应用本地差分隐私，保护用户隐私。
• 在真实世界环境中评估隐私保护与推荐性能之间的权衡。

提出的方法

• 用户在其设备上本地存储并使用个人行为数据训练新闻推荐模型的副本。
• 每位用户基于其本地行为数据计算本地模型梯度，并将梯度上传至中央服务器。
• 服务器从随机选择的用户子集中聚合梯度，以更新全局推荐模型。
• 通过添加拉普拉斯噪声对梯度应用本地差分隐私，噪声强度由参数 λ 和 δ 控制。
• 将更新后的全局模型重新分发给所有用户，用于本地模型更新，该过程在多轮中重复进行。
• 用户模型通过 GRU 对近期点击行为建模短期兴趣，通过点击新闻之间的嵌入相似性建模长期兴趣。

实验结果

研究问题

• RQ1 联邦学习框架能否在不集中用户行为数据的情况下有效训练出准确的新闻推荐模型？
• RQ2 对模型梯度应用本地差分隐私如何影响推荐性能与隐私保障？
• RQ3 在隐私保护环境下，短期与长期用户兴趣建模对推荐准确率有何影响？
• RQ4 在不同 LDP 参数下，隐私保护（通过 ε 衡量）与推荐性能之间存在何种权衡？

主要发现

• 所提出的 FedNewsRec 框架在真实世界数据集上实现了与最先进集中式方法相当的推荐性能。
• 对梯度应用本地差分隐私能有效保护用户隐私，ε 值越低表示隐私保障越强。
• 随着 λ 值升高（噪声更强），性能下降；随着 δ 值增大（剪裁更不激进），性能提升，表明隐私与准确率之间存在权衡。
• 在不同用户选择比率（r）下，模型在约 1,500 个训练轮次内收敛。
• 移除短期或长期用户嵌入组件均导致可测量的性能下降，证实了其在捕捉用户偏好方面的有效性。
• 消融研究确认，在所提出的框架中，短期与长期兴趣建模对实现高推荐准确率均至关重要。