[论文解读] Practical and Secure Federated Recommendation with Personalized Masks

Yang Liu, Zhang, Junxue+5 more|arXiv (Cornell University)|Aug 18, 2021

Privacy-Preserving Technologies in Data参考文献 34被引用 6

一句话总结

本文提出联邦掩码矩阵分解（FedMMF），一种新颖的联邦推荐框架，通过使用本地生成的个性化掩码来保护用户评分隐私，同时不牺牲模型准确率或训练效率。通过允许对保护充分的用户进行安全的明文梯度共享，并结合自适应安全聚合，FedMMF在真实世界基准测试中实现了强大的隐私保障，同时优于标准联邦矩阵分解及现有隐私保护方法。

ABSTRACT

Federated recommendation addresses the data silo and privacy problems altogether for recommender systems. Current federated recommender systems mainly utilize cryptographic or obfuscation methods to protect the original ratings from leakage. However, the former comes with extra communication and computation costs, and the latter damages model accuracy. Neither of them could simultaneously satisfy the real-time feedback and accurate personalization requirements of recommender systems. In this paper, we proposed federated masked matrix factorization (FedMMF) to protect the data privacy in federated recommender systems without sacrificing efficiency and effectiveness. In more details, we introduce the new idea of personalized mask generated only from local data and apply it in FedMMF. On the one hand, personalized mask offers protection for participants' private data without effectiveness loss. On the other hand, combined with the adaptive secure aggregation protocol, personalized mask could further improve efficiency. Theoretically, we provide security analysis for personalized mask. Empirically, we also show the superiority of the designed model on different real-world data sets.

研究动机与目标

• 解决联邦推荐系统中隐私、效率与效果之间平衡的关键挑战。
• 消除现有基于密码学和混淆方法中隐私保护与模型性能之间的权衡。
• 设计一种轻量级、高效且隐私保护的机制，实现在联邦设置下的实时个性化推荐。
• 通过识别数据保护充分的用户并允许其以明文形式共享梯度，实现安全、高性能的模型聚合。

提出的方法

• 引入仅基于本地数据生成的个性化掩码，将其应用于原始评分以生成掩盖私密信息的掩码评分。
• 采用基于掩码评分训练的联邦矩阵分解框架，在保持模型效用的同时增强隐私保护。
• 设计一种自适应安全聚合协议，区分隐私保护程度高的用户（安全组）与其他用户，使前者可进行明文梯度共享。
• 使用私有本地模型基于用户特定的数据模式学习个性化掩码，确保掩码依赖于数据且不可逆。
• 通过组合多种弱学习器（不同掩码类型）应用集成学习原理，提升泛化能力与模型有效性。
• 采用直观恢复攻击与排序攻击评估隐私泄露风险，证明掩码评分显著降低了数据重建的可能性。

实验结果

研究问题

• RQ1 能否在不降低模型准确率的前提下，利用个性化掩码保护联邦推荐系统中的用户评分数据？
• RQ2 个性化掩码的使用是否能实现高效模型聚合，特别是对受保护用户实现明文梯度共享？
• RQ3 在如恢复攻击与排序攻击等现实攻击场景下，所提方法在防止隐私泄露方面的有效性如何？
• RQ4 个性化掩码的集成能否使模型性能超越标准联邦矩阵分解？

主要发现

• FedMMF在所有三个真实世界数据集上与标准联邦矩阵分解相比，未造成性能损失，RMSE与MAE指标达到或优于FedMF。
• FedMMF的二阶与高阶个性化掩码变体持续优于本地与联邦上下文模型，证明了集成学习与特征交互的优势。
• 在直观恢复攻击下，即使在中等误差水平下，掩码评分的恢复率仍保持在0.5以上，表明对数据重建具有强抵抗力。
• 排序攻击结果显示，前1名与前2名选择的命中率低于0.5，证明高分项目的相对排序得到良好保护。
• 大量用户被识别为“安全组”成员——其掩码评分对攻击具有抗性——从而可实现明文梯度共享，降低通信与计算开销。
• 自适应安全聚合协议通过允许保护充分的用户高效发送未加密更新，显著降低了整体系统开销。