[论文解读] Robust Federated Contrastive Recommender System against Model Poisoning Attack

Wei Yuan, Chaoqun Yang+4 more|arXiv (Cornell University)|Mar 29, 2024

Spam and Phishing Detection被引用 4

一句话总结

本文提出 rCL4FedRec，一种鲁棒的联邦对比推荐系统，通过引入基于流行度的对比正则化项，提升性能并抵御模型投毒攻击。与先前方法不同，该方法通过避免私有参数共享来保护客户端隐私，并利用合成负向用户和噪声增强视图来提升表征学习，同时不损害安全性或鲁棒性。

ABSTRACT

Federated Recommender Systems (FedRecs) have garnered increasing attention recently, thanks to their privacy-preserving benefits. However, the decentralized and open characteristics of current FedRecs present two dilemmas. First, the performance of FedRecs is compromised due to highly sparse on-device data for each client. Second, the system's robustness is undermined by the vulnerability to model poisoning attacks launched by malicious users. In this paper, we introduce a novel contrastive learning framework designed to fully leverage the client's sparse data through embedding augmentation, referred to as CL4FedRec. Unlike previous contrastive learning approaches in FedRecs that necessitate clients to share their private parameters, our CL4FedRec aligns with the basic FedRec learning protocol, ensuring compatibility with most existing FedRec implementations. We then evaluate the robustness of FedRecs equipped with CL4FedRec by subjecting it to several state-of-the-art model poisoning attacks. Surprisingly, our observations reveal that contrastive learning tends to exacerbate the vulnerability of FedRecs to these attacks. This is attributed to the enhanced embedding uniformity, making the polluted target item embedding easily proximate to popular items. Based on this insight, we propose an enhanced and robust version of CL4FedRec (rCL4FedRec) by introducing a regularizer to maintain the distance among item embeddings with different popularity levels. Extensive experiments conducted on four commonly used recommendation datasets demonstrate that CL4FedRec significantly enhances both the model's performance and the robustness of FedRecs.

研究动机与目标

• 解决由于设备端用户数据高度有限而导致联邦推荐系统（FedRecs）中数据稀疏性的问题。
• 克服 FedRecs 对模型投毒攻击的脆弱性，即恶意客户端操纵全局模型更新。
• 设计一种与标准 FedRec 协议兼容的对比学习框架，无需共享私有客户端参数。
• 识别并解决一个反直觉问题：对比学习可能因增加嵌入均匀性而降低鲁棒性。
• 提出一种流行度感知正则化项，以保持高、低流行度项目嵌入之间的距离，从而同时提升性能与鲁棒性。

提出的方法

• 在中央服务器构建合成负向用户，作为真实客户端用户嵌入的负样本视图，实现在不共享私有数据的前提下进行用户级对比学习。
• 对用户嵌入应用轻量级均匀噪声，以生成正样本视图对，增强表征多样性。
• 使用近似优化方法，基于本地交互数据生成项目嵌入的两个不同视图，实现在不泄露私有信息的前提下进行项目级对比学习。
• 引入基于流行度的对比正则化项，当流行与不流行项目的嵌入过于接近时对模型施加惩罚，以抵消对比学习带来的嵌入均匀性问题。
• 通过保持私有用户嵌入本地、仅共享公共项目嵌入，确保与标准 FedRec 训练流程兼容。
• 基于全局项目交互频率计算出的流行度得分来构建正则化项，以促进高、低流行度项目表征之间的分离。

实验结果

研究问题

• RQ1 在不违反隐私约束或不需共享私有参数的前提下，能否有效将对比学习应用于联邦推荐系统？
• RQ2 在 FedRecs 中使用对比学习是否会无意中增加对模型投毒攻击的脆弱性？如果是，原因是什么？
• RQ3 基于流行度的正则化项在多大程度上可以缓解对比学习对模型鲁棒性的负面影响？
• RQ4 不同的视图构建策略（如合成用户、噪声增强、项目视图方法）对最终推荐性能有何影响？
• RQ5 在对比学习框架中，合成用户的最优数量是多少，以在性能与鲁棒性之间实现平衡？

主要发现

• 在 FedRecs 中使用对比学习会增加嵌入均匀性，使模型更容易受到模型投毒攻击的影响，尤其是当污染的目标项目嵌入与流行项目更接近时。
• 所提出的 rCL4FedRec 框架显著提升了推荐性能，在 MovieLens-1M 数据集上 Recall@20 达到 0.04836，优于未使用正则化项的基线模型。
• 移除基于流行度的正则化项后，Recall@20 降至 0.04656，表明该正则化项对性能与鲁棒性均至关重要。
• 消融实验证实，所有组件——用户级对比学习、项目级对比学习和正则化项——均对性能有显著贡献，其中正则化项的影响最大。
• 在 MovieLens-1M 上，最优合成用户数量为 60，在 Amazon-Video 上为 10；超过此数量后，性能因过度正则化或对比学习中的噪声而下降。
• rCL4FedRec 是唯一一种在投毒攻击下同时提升模型性能与鲁棒性的防御方法，在两项指标上均优于最先进的防御方法 HiCS。