[论文解读] Practical Privacy Preserving POI Recommendation

Chaochao Chen, Jun Zhou+5 more|arXiv (Cornell University)|Mar 5, 2020

Privacy-Preserving Technologies in Data参考文献 66被引用 4

一句话总结

该论文提出PriRec，一种隐私保护的POI推荐框架，将用户的私有数据和线性模型保留在设备端，同时利用本地差分隐私（LDP）安全地收集经过扰动的用户-POI交互数据，以生成动态POI热度特征。该框架结合了用户端线性模型的隐私保护去中心化梯度下降与联邦学习中特征交互模型的隐私保护聚合机制，实现了与集中式FM相当或更优的准确率，同时具备强大的隐私保障。

ABSTRACT

Point-of-Interest (POI) recommendation has been extensively studied and successfully applied in industry recently. However, most existing approaches build centralized models on the basis of collecting users' data. Both private data and models are held by the recommender, which causes serious privacy concerns. In this paper, we propose a novel Privacy preserving POI Recommendation (PriRec) framework. First, to protect data privacy, users' private data (features and actions) are kept on their own side, e.g., Cellphone or Pad. Meanwhile, the public data need to be accessed by all the users are kept by the recommender to reduce the storage costs of users' devices. Those public data include: (1) static data only related to the status of POI, such as POI categories, and (2) dynamic data depend on user-POI actions such as visited counts. The dynamic data could be sensitive, and we develop local differential privacy techniques to release such data to public with privacy guarantees. Second, PriRec follows the representations of Factorization Machine (FM) that consists of linear model and the feature interaction model. To protect the model privacy, the linear models are saved on users' side, and we propose a secure decentralized gradient descent protocol for users to learn it collaboratively. The feature interaction model is kept by the recommender since there is no privacy risk, and we adopt secure aggregation strategy in federated learning paradigm to learn it. To this end, PriRec keeps users' private raw data and models in users' own hands, and protects user privacy to a large extent. We apply PriRec in real-world datasets, and comprehensive experiments demonstrate that, compared with FM, PriRec achieves comparable or even better recommendation accuracy.

研究动机与目标

• 解决集中式POI推荐系统中用户数据与模型均由推荐系统持有所带来的隐私风险。
• 设计一种可扩展、高效且隐私保护的推荐框架，最大限度减少私有用户数据与模型参数的暴露。
• 在去中心化敏感数据与模型的前提下，仍保持高推荐准确率，确保在真实系统中的实际可部署性。
• 在不损害用户隐私的前提下，从经过扰动的用户交互数据中生成动态POI热度特征。
• 开发一种安全、高效的协同学习机制，在保护个体偏好隐私的同时保留用户级别的个性化能力。

提出的方法

• 用户的私有数据（如个人资料和行为）存储在本地设备（如智能手机）上，避免集中收集。
• 公共POI数据——包括静态信息（如类别）和动态信息（如访问次数）——由推荐系统维护，以减少客户端存储开销。
• 在传输前对用户-POI交互数据应用本地差分隐私（LDP）进行扰动，实现动态特征的隐私保护聚合。
• 推荐模型基于因子分解机（FM），其线性部分通过安全去中心化梯度下降协议在本地设备上存储并训练。
• 特征交互部分在中心服务器上通过联邦学习中的安全聚合机制进行训练，保护模型隐私。
• 采用混合架构分离数据与模型所有权：私有数据与线性模型保留在用户端；共享的特征交互部分在服务器上通过安全方式训练。

实验结果

研究问题

• RQ1 POI推荐系统是否能在不牺牲推荐准确率的前提下，保护用户数据与模型隐私？
• RQ2 如何在确保本地差分隐私的前提下，从经过扰动的用户交互数据中生成动态POI热度特征？
• RQ3 安全去中心化梯度下降是否能够有效实现用户特定线性模型的协同学习，而无需集中化存储？
• RQ4 所提出的PriRec框架在强隐私保障下，是否能实现与集中式FM模型相当或更优的性能？
• RQ5 PriRec框架在实际应用中效率与可扩展性如何，特别是在在线设备有限和通信受限的环境下？

主要发现

• 在K=5时，PriRec在Koubei80数据集上的AUC比FM高出6.30%，表明即使在去中心化环境下，其准确率仍具有优势或可比性。
• 与不包含动态特征的PriRec-相比，PriRec在Koubei90数据集上（K=5）通过集成LDP生成的动态POI热度特征，AUC提升了2.67%。
• 由于特征数量更少（6 vs. 89），PriRec在Foursquare80上的收敛速度比Koubei80更快，表明在低维数据上学习效率更高。
• 仅需0.04%的用户（85,466名用户中的30名）作为最大邻居时，性能即趋于稳定，证明该框架在稀疏在线环境中的可扩展性与实用性。
• 训练时间与数据规模呈线性关系，证实PriRec的高效性及其在大规模部署中的可行性。
• 通过将原始用户数据与线性模型保留在设备端，并使用密码学技术实现安全聚合，该框架维持了强大的隐私保障。