[论文解读] Semi-decentralized Federated Ego Graph Learning for Recommendation

Liang Qu, Ningzhi Tang+5 more|arXiv (Cornell University)|Feb 10, 2023

Recommender Systems and Techniques被引用 4

一句话总结

本文提出SemiDFEGL，一种半去中心化的联邦自指图学习框架，通过利用预测的虚假公共项目连接孤立的自指图，实现隐私保护的设备端推荐，降低通信成本并消除对中心化服务器的依赖。该方法在三个公开数据集上均达到最先进性能，且与模型无关，兼容现有图神经网络（GNN）和隐私保护技术。

ABSTRACT

Collaborative filtering (CF) based recommender systems are typically trained based on personal interaction data (e.g., clicks and purchases) that could be naturally represented as ego graphs. However, most existing recommendation methods collect these ego graphs from all users to compose a global graph to obtain high-order collaborative information between users and items, and these centralized CF recommendation methods inevitably lead to a high risk of user privacy leakage. Although recently proposed federated recommendation systems can mitigate the privacy problem, they either restrict the on-device local training to an isolated ego graph or rely on an additional third-party server to access other ego graphs resulting in a cumbersome pipeline, which is hard to work in practice. In addition, existing federated recommendation systems require resource-limited devices to maintain the entire embedding tables resulting in high communication costs. In light of this, we propose a semi-decentralized federated ego graph learning framework for on-device recommendations, named SemiDFEGL, which introduces new device-to-device collaborations to improve scalability and reduce communication costs and innovatively utilizes predicted interacted item nodes to connect isolated ego graphs to augment local subgraphs such that the high-order user-item collaborative information could be used in a privacy-preserving manner. Furthermore, the proposed framework is model-agnostic, meaning that it could be seamlessly integrated with existing graph neural network-based recommendation methods and privacy protection techniques. To validate the effectiveness of the proposed SemiDFEGL, extensive experiments are conducted on three public datasets, and the results demonstrate the superiority of the proposed SemiDFEGL compared to other federated recommendation methods.

研究动机与目标

• 解决集中式和星型联邦推荐系统中的可扩展性和通信瓶颈问题。
• 克服联邦自指图学习中孤立自指图的局限性，该局限性阻碍了高阶协同用户-项目关系的捕捉。
• 通过避免完整嵌入表存储并消除对中心化服务器或第三方服务的依赖，降低设备端内存和通信开销。
• 设计一种与模型无关的框架，可无缝集成现有基于GNN的推荐模型和隐私保护技术。

提出的方法

• 提出一种半去中心化架构，设备间直接协作，无需依赖中心化服务器进行协调。
• 利用预测的虚假公共项目连接每个设备上的孤立自指图，构建增强的本地子图，以捕捉高阶协同信息。
• 通过设备间通信共享模型更新和协同知识，降低对中心聚合器的依赖，减少通信成本。
• 保持与模型无关的设计，支持与多种基于GNN的推荐模型（如GCN、GAT、GraphSAGE和LightGCN）的集成。
• 采用设备端训练与本地图增强相结合的方式，确保用户数据始终留在设备上，最大限度降低隐私泄露风险。
• 采用基于分组的聚类策略生成虚假公共项目，在引入噪声与获取结构信息之间实现平衡。

实验结果

研究问题

• RQ1 在无中心服务器的情况下，半去中心化的联邦自指图学习框架能否有效从孤立自指图中捕捉高阶协同信息？
• RQ2 在联邦自指图学习中，使用虚假公共项目对模型性能和隐私保护有何影响？
• RQ3 与现有联邦推荐系统相比，所提框架在多大程度上可降低通信和内存开销？
• RQ4 该框架能否与多样化的基于GNN的推荐模型及现有隐私保护机制无缝集成？

主要发现

• SemiDFEGL在三个公开数据集（MovieLens-1M、Yelp和Amazon）上均表现出优越性能，推荐准确性和鲁棒性均优于现有联邦推荐方法。
• 在虚假公共项目生成过程中，使用100组时模型性能达到最优，实现了噪声与结构信息增益之间的良好平衡。
• 四层GNN架构表现最佳，因更深的网络易导致过平滑，而更浅的网络则无法捕捉更高阶图结构。
• 将LightGCN与SemiDFEGL结合时，在GNN变体中取得最高性能，归因于其高效的嵌入学习机制和类似注意力的特性。
• 使用适度数量的负样本可在不显著降低性能的前提下提升隐私保护，而过多负样本会引入噪声，损害模型准确率。
• 该框架通过消除对中心服务器的需求以及减少设备端完整嵌入表的存储，展现出强大的可扩展性和通信效率。