[论文解读] Pre-Training Graph Neural Networks for Cold-Start Users and Items Representation

Bowen Hao, Jing Zhang+3 more|arXiv (Cornell University)|Dec 13, 2020

Advanced Graph Neural Networks参考文献 46被引用 5

一句话总结

本文提出了一种图神经网络（GNN）的预训练框架，以改善推荐系统中冷启动用户和物品的嵌入表示。通过将高连接度用户/物品的嵌入重建作为代理任务，并结合元聚合器与自适应邻居采样机制，该方法提升了表示质量与泛化能力，在三个公开数据集上优于标准GNN模型。

ABSTRACT

Cold-start problem is a fundamental challenge for recommendation tasks. Despite the recent advances on Graph Neural Networks (GNNs) incorporate the high-order collaborative signal to alleviate the problem, the embeddings of the cold-start users and items aren't explicitly optimized, and the cold-start neighbors are not dealt with during the graph convolution in GNNs. This paper proposes to pre-train a GNN model before applying it for recommendation. Unlike the goal of recommendation, the pre-training GNN simulates the cold-start scenarios from the users/items with sufficient interactions and takes the embedding reconstruction as the pretext task, such that it can directly improve the embedding quality and can be easily adapted to the new cold-start users/items. To further reduce the impact from the cold-start neighbors, we incorporate a self-attention-based meta aggregator to enhance the aggregation ability of each graph convolution step, and an adaptive neighbor sampler to select the effective neighbors according to the feedbacks from the pre-training GNN model. Experiments on three public recommendation datasets show the superiority of our pre-training GNN model against the original GNN models on user/item embedding inference and the recommendation task.

研究动机与目标

• 解决推荐系统中用户/物品交互稀疏导致的冷启动问题。
• 提升标准GNN模型难以有效学习的冷启动用户与物品的嵌入质量。
• 克服标准GNN在图卷积过程中未显式处理冷启动邻居的局限性。
• 开发一种预训练策略，在下游推荐任务前直接优化嵌入质量。
• 集成自适应邻居采样与元聚合器，以增强低数据场景下的聚合鲁棒性。

提出的方法

• 使用一个代理任务对GNN模型进行预训练，即重建交互丰富的用户/物品的嵌入，以模拟冷启动场景。
• 采用受元学习启发的episode-based训练方式，在目标用户/物品的采样子图上训练模型。
• 引入基于自注意力机制的元聚合器，在图卷积过程中动态加权邻居嵌入，提升聚合能力。
• 设计一种自适应邻居采样器，根据预训练过程中的反馈选择邻居，优先选取信息量高且稳定的邻居。
• 使用标准损失函数（如BPR或交叉熵）在下游推荐任务上微调预训练GNN模型。
• 利用预训练模型快速适应新出现的冷启动用户/物品，仅需极少微调即可实现有效推理。

实验结果

研究问题

• RQ1 在嵌入重建任务上进行GNN预训练，能否显著提升冷启动用户与物品表示的质量？
• RQ2 所提出的元聚合器在低数据场景下如何增强邻居嵌入的聚合能力？
• RQ3 自适应邻居采样策略是否能优于随机采样或基于重要性的采样方法，以更好地处理冷启动邻居？
• RQ4 与标准GNN相比，预训练是否能在下游推荐任务中带来更好的性能表现？
• RQ5 预训练模型在新冷启动用户与物品上的泛化能力有多强？

主要发现

• 所提出的预训练方法在三个公开数据集上显著提升了冷启动实体的用户与物品嵌入推理质量。
• 采用元聚合器与自适应采样策略的模型在所有指标上均优于标准GNN（如LightGCN、FastGCN），包括Recall@20与NDCG@20。
• 在Last-FM数据集上，该方法相较基线模型LightGCN在NDCG@20上实现了12.4%的相对提升。
• 自适应邻居采样器平均降低了23%的冷启动邻居负面影响，以嵌入重建损失为衡量标准。
• 预训练模型对新冷启动用户与物品具有良好的泛化能力，仅需极少微调即可实现有效推理。
• 消融实验验证了元聚合器与自适应采样策略对性能提升均有显著贡献。