[论文解读] Solving Cold Start Problem in Recommendation with Attribute Graph Neural Networks

Tieyun Qian, Yile Liang+1 more|arXiv (Cornell University)|Dec 28, 2019

Recommender Systems and Techniques参考文献 30被引用 7

一句话总结

本文提出属性图神经网络（AGNN），一种新颖的框架，通过利用用户和物品属性而非稀疏的用户-物品交互图来解决推荐系统中的冷启动问题。AGNN 使用扩展变分自编码器（eVAE）从属性分布中推断偏好嵌入，并采用门控-GNN 动态聚合多模态属性，在冷启动推荐任务中实现最先进性能，同时在热启动场景下也保持强劲表现。

ABSTRACT

Matrix completion is a classic problem underlying recommender systems. It is traditionally tackled with matrix factorization. Recently, deep learning based methods, especially graph neural networks, have made impressive progress on this problem. Despite their effectiveness, existing methods focus on modeling the user-item interaction graph. The inherent drawback of such methods is that their performance is bound to the density of the interactions, which is however usually of high sparsity. More importantly, for a cold start user/item that does not have any interactions, such methods are unable to learn the preference embedding of the user/item since there is no link to this user/item in the graph. In this work, we develop a novel framework Attribute Graph Neural Networks (AGNN) by exploiting the attribute graph rather than the commonly used interaction graph. This leads to the capability of learning embeddings for cold start users/items. Our AGNN can produce the preference embedding for a cold user/item by learning on the distribution of attributes with an extended variational auto-encoder structure. Moreover, we propose a new graph neural network variant, i.e., gated-GNN, to effectively aggregate various attributes of different modalities in a neighborhood. Empirical results on two real-world datasets demonstrate that our model yields significant improvements for cold start recommendations and outperforms or matches state-of-the-arts performance in the warm start scenario.

研究动机与目标

• 解决推荐系统中因新用户或新物品缺乏交互历史而产生的冷启动问题。
• 克服基于交互的 GNN 的局限性，后者因用户-物品图中缺乏边而在冷启动场景下失效。
• 利用用户和物品属性（如性别、类别或描述）作为嵌入学习的稳定信息源。
• 开发一种有效聚合图结构中邻近节点异质属性（如文本、图像）的方法。
• 设计一种在冷启动与热启动场景下均表现强劲的模型，确保在不同数据稀疏程度下的鲁棒性。

提出的方法

• 构建属性图，其中节点为用户或物品，边基于属性相似性形成（例如使用 k-NN 或动态邻居选择）。
• 引入扩展变分自编码器（eVAE），直接从属性分布中学习偏好嵌入，实现在无交互数据情况下的冷启动推理。
• 提出门控-GNN 架构，为邻居嵌入分配可学习的、按维度的权重，增强模型容量并实现对多模态属性的选择性聚合。
• 使用带有可学习门控的图卷积机制，动态加权不同属性和邻居的贡献，提升异质特征空间中的表示学习效果。
• 端到端训练模型，采用属性和评分数据的重构损失，eVAE 确保解耦且鲁棒的偏好嵌入学习。
• 应用动态邻居构建策略，确保获得多样且相关的邻域信息，提升泛化能力与对稀疏性的鲁棒性。

实验结果

研究问题

• RQ1 属性图能否作为冷启动场景下学习用户与物品嵌入的交互图可行替代方案？
• RQ2 扩展变分自编码器（eVAE）在从属性分布中推断冷启动用户与物品偏好嵌入方面效果如何？
• RQ3 一种为邻居嵌入分配按维度注意力的门控-GNN 机制是否能显著提升模型容量与推荐性能？
• RQ4 在不同数据稀疏度与冷启动比例下，AGNN 与最先进模型（如 STAR-GCN 和 DiffNet）相比表现如何？
• RQ5 动态邻居构建策略在稀疏交互环境下在多大程度上提升了模型的鲁棒性与性能？

主要发现

• AGNN 在冷启动推荐场景中显著优于最先进模型，包括 STAR-GCN 和 DiffNet，尤其在冷启动节点比例增加时表现更优。
• 在 MovieLens 数据集上，AGNN 在所有冷启动比例（10%、30%、50%）下 RMSE 均低于 STAR-GCN 和 DiffNet，且性能下降速度远慢于对比模型。
• 消融实验表明，移除 eVAE 组件（AGNN -eVAE）后性能最差，证实其在冷启动嵌入学习中的关键作用。
• 采用门控-GNN 的 AGNN 优于使用 GCN 和 GAT 的变体，表明按维度门控机制在模型容量上超越了标准注意力或求和聚合方式。
• AGNN 中的动态邻居构建策略优于固定邻居选择（如 k-NN），因其能获取更多样化且相关的邻域信息。
• AGNN 在热启动场景下也保持了具有竞争力的性能，与基线模型相当或更优，表明基于属性的方法不仅对冷启动有效，对一般推荐场景同样有益。