[论文解读] Pre-training Graph Neural Network for Cross Domain Recommendation

Chen Wang, Yueqing Liang+3 more|arXiv (Cornell University)|Nov 16, 2021

Recommender Systems and Techniques被引用 4

一句话总结

本文提出PCRec，一种用于跨域推荐的预训练与微调框架，通过在源域图神经网络（GNN）上利用自监督对比学习来初始化目标域的用户和物品嵌入。通过迁移预训练GNN中的结构信息，并使用简单的矩阵分解模型进行微调，PCRec在最小化源域偏差的同时实现了最先进性能，在Recall@20和MAP@20上分别比现有方法最高提升27.6%和26.4%。

ABSTRACT

A recommender system predicts users' potential interests in items, where the core is to learn user/item embeddings. Nevertheless, it suffers from the data-sparsity issue, which the cross-domain recommendation can alleviate. However, most prior works either jointly learn the source domain and target domain models, or require side-features. However, jointly training and side features would affect the prediction on the target domain as the learned embedding is dominated by the source domain containing bias information. Inspired by the contemporary arts in pre-training from graph representation learning, we propose a pre-training and fine-tuning diagram for cross-domain recommendation. We devise a novel Pre-training Graph Neural Network for Cross-Domain Recommendation (PCRec), which adopts the contrastive self-supervised pre-training of a graph encoder. Then, we transfer the pre-trained graph encoder to initialize the node embeddings on the target domain, which benefits the fine-tuning of the single domain recommender system on the target domain. The experimental results demonstrate the superiority of PCRec. Detailed analyses verify the superiority of PCRec in transferring information while avoiding biases from source domains.

研究动机与目标

• 通过利用跨域知识迁移，解决单域推荐系统中的数据稀疏性和冷启动问题。
• 克服现有跨域推荐（CDR）方法因联合训练或依赖辅助特征而导致的源域偏差主导问题。
• 提出一种预训练与微调范式，将结构表征学习与目标域预测解耦，以保留目标域特异性信息。
• 探究在使用预训练GNN嵌入初始化时，简单微调模型是否能超越复杂模型。
• 设计一种无需辅助特征的自监督预训练方案，适用于CDR中仅含交互数据的稀疏场景。

提出的方法

• 在源域上使用基于随机游走的子图增强生成正样本对，通过对比自监督学习预训练GNN编码器。
• 利用预训练的GNN编码器初始化目标域中的节点嵌入，保留来自源域的结构归纳偏置。
• 使用简单的矩阵分解（MF）模型对目标域推荐模型进行微调，实证表明其性能优于LightGCN等更深层模型。
• 应用对比学习目标，最大化同一节点邻域在两个增强视图中的表示一致性。
• 将微调阶段限制在目标域内，确保最终预测不被源域偏差主导。
• 在真实世界数据集上评估该框架，通过比较不同跳数和微调架构的变体，分析设计选择的影响。

Figure 1: An illustration of PCRec model architecture in specific example. The model is mainly composed of three setps. In the pre-training stage, a model with the structural learning of nodes’ embedding is used to learn the source domain’s structure. The target domain is put into the pre-trained mo

实验结果

研究问题

• RQ1 在源域交互图上进行自监督预训练，是否能提升目标域在数据有限情况下的推荐性能？
• RQ2 仅迁移预训练GNN编码器（不进行微调）是否会因源域偏差导致性能下降？
• RQ3 在使用预训练嵌入初始化时，微调模型架构的选择如何影响跨域推荐的性能？
• RQ4 使用预训练GNN为共现用户生成嵌入（通过模型迁移）是否优于直接复制源域嵌入？
• RQ5 在预训练阶段，邻域聚合中的邻居跳数如何影响下游性能？

主要发现

• PCRec在所有指标上均表现最佳，Recall@20达到0.2756，MAP@20达到0.0264，分别比次优基线LGCN高出27.6%和26.4%。
• PCRec-2hop（2跳邻居）优于PCRec-3hop（3跳邻居），表明增加邻域距离会降低正样本间的相似性，阻碍表征学习。
• 使用简单矩阵分解（MF）模型进行微调（PCRec）显著优于1层和3层LightGCN等复杂模型，表明复杂模型可能在目标数据上过拟合，削弱了知识迁移效果。
• CU-PM方法（利用预训练GNN为共现用户生成嵌入）优于CU-PE（直接复制嵌入），甚至优于标准LGCN基线，证明基于模型的迁移优于直接嵌入迁移。
• Pre-Only基线（仅应用预训练GNN而不进行微调）表现最差（Recall@20 = 0.0329），证实微调对缓解源域偏差至关重要。
• 消融研究证实，在微调阶段包含非共现用户（即使通过预训练编码器初始化）可提升性能，防止目标域被源域信息主导。