[论文解读] NGAT4Rec: Neighbor-Aware Graph Attention Network For Recommendation

Jinbo Song, Chao Chang+3 more|arXiv (Cornell University)|Oct 23, 2020

Recommender Systems and Techniques参考文献 37被引用 15

一句话总结

NGAT4Rec 提出了一种邻近感知图注意力网络，通过计算用户-物品交互图中邻近物品或用户之间的成对注意力系数，建模邻近项之间的隐式相关性。通过用这种邻近感知注意力机制替代传统的 GNN 层，并移除非线性变换，该模型在三个基准数据集上实现了最先进性能，在 NDCG@20 上相比先前最先进方法最高提升 20.43%。

ABSTRACT

Learning informative representations (aka. embeddings) of users and items is the core of modern recommender systems. Previous works exploit user-item relationships of one-hop neighbors in the user-item interaction graph to improve the quality of representation. Recently, the research of Graph Neural Network (GNN) for recommendation considers the implicit collaborative information of multi-hop neighbors to enrich the representation. However, most works of GNN for recommendation systems do not consider the relational information which implies the expression differences of different neighbors in the neighborhood explicitly. The influence of each neighboring item to the representation of the user's preference can be represented by the correlation between the item and neighboring items of the user. Symmetrically, for a given item, the correlation between one neighboring user and neighboring users can reflect the strength of signal about the item's characteristic. To modeling the implicit correlations of neighbors in graph embedding aggregating, we propose a Neighbor-Aware Graph Attention Network for recommendation task, termed NGAT4Rec. It employs a novel neighbor-aware graph attention layer that assigns different neighbor-aware attention coefficients to different neighbors of a given node by computing the attention among these neighbors pairwisely. Then NGAT4Rec aggregates the embeddings of neighbors according to the corresponding neighbor-aware attention coefficients to generate next layer embedding for every node. Furthermore, we combine more neighbor-aware graph attention layer to gather the influential signals from multi-hop neighbors. We remove feature transformation and nonlinear activation that proved to be useless on collaborative filtering. Extensive experiments on three benchmark datasets show that our model outperforms various state-of-the-art models consistently.

研究动机与目标

• 解决现有基于 GNN 的推荐模型在用户-物品交互图中未能显式建模邻近项之间关系信息的局限性。
• 通过捕捉给定用户邻近物品之间的隐式相关性，以及给定物品邻近用户的隐式相关性，提升表征学习效果。
• 通过去除不必要的非线性变换和激活函数，设计一种更高效的协同过滤 GNN 架构。
• 证明基于邻近项之间成对相似性的邻近感知注意力计算方式，在推荐任务中优于传统注意力机制。

提出的方法

• 引入一种邻近感知图注意力层，对给定节点（用户或物品）的所有邻近节点之间成对计算注意力系数，使用归一化的点积并结合 ReLU。
• 利用计算出的邻近感知注意力系数对邻近节点嵌入进行聚合，以消息传递方式更新节点表征。
• 通过在所有邻近节点对之间平均成对注意力得分，简化注意力计算，降低复杂度，同时保持表达能力。
• 堆叠多个邻近感知注意力层，以捕捉多跳邻域信息，支持更深层次的表征学习。
• 在 GNN 层中移除特征变换和非线性激活函数（如 ReLU、LeakyReLU），因为实证结果表明这些在纯 ID 基协同过滤中无效。
• 通过邻近嵌入的加权线性组合（权重为邻近感知注意力系数）生成下一层的节点嵌入。

实验结果

研究问题

• RQ1 在用户-物品交互图中建模邻近项之间的隐式相关性是否能提升推荐性能？
• RQ2 一种基于邻近项之间成对注意力计算的邻近感知注意力机制，是否在基于 GNN 的推荐器中优于标准注意力机制？
• RQ3 当仅使用用户和物品 ID 作为输入特征时，GNN 层中的非线性变换是否为协同过滤所必需？
• RQ4 所提出的 NGAT4Rec 模型在性能和效率方面与最先进基于 GNN 的推荐模型相比如何？

主要发现

• NGAT4Rec 在三个基准数据集（Yelp2018、Amazon-Book 和 Kuaishou-Video）上均实现了最先进性能，优于先前的 SOTA 模型。
• 移除非线性变换（如 ReLU、LeakyReLU）显著提升了性能，NGAT4Rec 在 Yelp2018 上的 Recall@20 比其非线性变体 NGAT4Rec_N 提升 19.68%。
• 与 LightGAT-mlp 相比，邻近感知注意力机制在 Recall@20 上提升 11.94%，在 NDCG@20 上提升 13.29%；与 LightGAT-dp 相比，分别提升 9.40% 和 9.92%。
• 在所有三个数据集上，NGAT4Rec 均取得最高的 NDCG@20 和 Recall@20 分数，其中在 Amazon-Book 上相比 NGAT4Rec_N 最高提升 20.43%，相比 LightGAT-mlp 最高提升 15.80%。
• 当嵌入维度从 64 增加到 128 时，性能提升趋于平缓，表明超过一定容量后收益递减。
• 消融实验证实，在基于 ID 的协同过滤场景下，邻近感知注意力机制比标准注意力机制（MLP 或点积）更有效。