[论文解读] Vertical Federated Graph Neural Network for Recommender System

Peihua Mai, Yan Pang|arXiv (Cornell University)|Mar 10, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出 VerFedGNN，这是首个用于推荐系统的垂直联邦图神经网络，能够在用户-物品数据分散于不同组织的情况下实现隐私保护的协同训练。通过使用随机投影进行邻居嵌入聚合，并采用三值量化进行梯度传输，VerFedGNN 在显著提升对去匿名化攻击的隐私保护能力的同时，实现了具有竞争力的推荐准确率。

ABSTRACT

Conventional recommender systems are required to train the recommendation model using a centralized database. However, due to data privacy concerns, this is often impractical when multi-parties are involved in recommender system training. Federated learning appears as an excellent solution to the data isolation and privacy problem. Recently, Graph neural network (GNN) is becoming a promising approach for federated recommender systems. However, a key challenge is to conduct embedding propagation while preserving the privacy of the graph structure. Few studies have been conducted on the federated GNN-based recommender system. Our study proposes the first vertical federated GNN-based recommender system, called VerFedGNN. We design a framework to transmit: (i) the summation of neighbor embeddings using random projection, and (ii) gradients of public parameter perturbed by ternary quantization mechanism. Empirical studies show that VerFedGNN has competitive prediction accuracy with existing privacy preserving GNN frameworks while enhanced privacy protection for users' interaction information.

研究动机与目标

• 解决由于隐私和商业限制，用户-物品交互数据在不同组织间隔离时，训练基于图神经网络的协同推荐系统所面临的挑战。
• 设计一种垂直联邦学习框架，实现在不共享原始用户交互数据或图拓扑结构的前提下安全地进行模型训练。
• 在跨子图传播嵌入的过程中保护用户交互隐私，同时保持模型性能。
• 开发并评估一种去匿名化攻击，以展示现有联邦图神经网络框架的脆弱性，并验证所提出的隐私保护机制的有效性。

提出的方法

• 使用随机投影压缩并传输客户端之间邻居嵌入的求和结果，降低通信成本并保护隐私。
• 使用三值量化对公共模型参数的梯度进行扰动和传输，最大限度减少信息泄露，同时保持模型更新的保真度。
• 设计一种垂直联邦学习框架，其中每个客户端持有不同的物品集合但共享相同的用户基础，实现在不共享数据的前提下协同学习。
• 集成一个服务器，通过安全的隐私保护通信协议聚合投影后的邻居嵌入，并协调客户端之间的模型更新。
• 应用理论隐私分析，证明所提方法在差分隐私和 k-匿名性原则下可保护用户交互数据。
• 实施一种去匿名化攻击，通过从梯度中推断跨图交互关系来评估框架的鲁棒性，从而验证三值量化的效果。

实验结果

研究问题

• RQ1 能否设计一种垂直联邦图神经网络框架，实现在不共享原始用户-物品交互数据的前提下协同训练推荐系统？
• RQ2 随机投影在保护隐私的同时，对在不相交子图间实现准确嵌入传播的有效性如何？
• RQ3 与未量化或添加噪声的梯度相比，梯度的三值量化在多大程度上降低了去匿名化攻击的风险？
• RQ4 在隐私约束下，VerFedGNN 与集中式 GNN 在推荐准确率方面相比如何？
• RQ5 所提框架对大规模数据集中的通信成本和可扩展性有何影响？

主要发现

• VerFedGNN 实现了具有竞争力的推荐准确率，在 Yelp 数据集上的 RMSE 为 1.312，仅比集中式 GNN（1.302）低 0.01，且显著优于矩阵分解方法（1.41）。
• 使用随机投影可将去匿名化攻击的 F1 值降至 BookCrossing 数据集的 0.0037（无投影时为 0.0305），证明了强大的隐私保护能力。
• 在 20% 攻击率下，三值量化将基于梯度的去匿名化攻击 F1 值降低至 0.0057，显著低于 FedPerGNN（0.0168）和 FedSage+（0.0220）。
• 通信成本可控，每轮每方为 660.9MB（总计 6609MB），在每轮采样 5% 用户的情况下，传输时间可缩短至 4.5 秒。
• 该框架具备可扩展性，并成功部署于大规模 Yelp 数据集（超过 690 万条评分，190 万名用户，15 万件物品）。
• 实证结果证实，VerFedGNN 在保持高性能的同时，相比现有联邦图神经网络框架提供了更强的隐私保障，尤其在梯度推断攻击下表现更优。