[论文解读] RetaGNN: Relational Temporal Attentive Graph Neural Networks for Holistic Sequential Recommendation

Cheng Hsu, Cheng–Te Li|arXiv (Cornell University)|Jan 29, 2021

Recommender Systems and Techniques参考文献 41被引用 9

一句话总结

RetaGNN 是一种用于整体顺序推荐的新型图神经网络模型，通过在局部用户-物品子图上利用关系注意力图神经网络（GNN）以及一种顺序自注意力机制，统一了传统的、归纳式的和可迁移的设置，以建模用户的长期和短期偏好。该模型在 MovieLens、Instagram 和 Book-Crossing 数据集上均实现了最先进性能，且通过学习到的注意力权重，实现了更好的泛化能力和可解释性。

ABSTRACT

Sequential recommendation (SR) is to accurately recommend a list of items for a user based on her current accessed ones. While new-coming users continuously arrive in the real world, one crucial task is to have inductive SR that can produce embeddings of users and items without re-training. Given user-item interactions can be extremely sparse, another critical task is to have transferable SR that can transfer the knowledge derived from one domain with rich data to another domain. In this work, we aim to present the holistic SR that simultaneously accommodates conventional, inductive, and transferable settings. We propose a novel deep learning-based model, Relational Temporal Attentive Graph Neural Networks (RetaGNN), for holistic SR. The main idea of RetaGNN is three-fold. First, to have inductive and transferable capabilities, we train a relational attentive GNN on the local subgraph extracted from a user-item pair, in which the learnable weight matrices are on various relations among users, items, and attributes, rather than nodes or edges. Second, long-term and short-term temporal patterns of user preferences are encoded by a proposed sequential self-attention mechanism. Third, a relation-aware regularization term is devised for better training of RetaGNN. Experiments conducted on MovieLens, Instagram, and Book-Crossing datasets exhibit that RetaGNN can outperform state-of-the-art methods under conventional, inductive, and transferable settings. The derived attention weights also bring model explainability.

研究动机与目标

• 为解决缺乏同时支持传统、归纳和可迁移顺序推荐的统一模型的问题。
• 通过仅从以用户-物品对为中心的局部子图中学习，实现在无需微调的情况下进行归纳顺序推荐。
• 通过一种新颖的顺序自注意力机制，建模用户偏好的长期和短期时间模式。
• 通过引入关系感知正则化（RAR）项，提升训练稳定性与泛化能力。
• 通过可解释的注意力权重，实现推荐决策的可解释性。

提出的方法

• RetaGNN 构建以目标用户-物品对为中心的局部包围子图，捕捉用户、物品和属性之间的关系。
• 采用关系注意力图神经网络（RA-GNN）层，学习跨多种关系（用户-物品、用户-属性、物品-属性）的关系特定权重矩阵，而非节点或边特定的参数。
• 通过顺序自注意力机制，对近期交互序列进行注意力计算，以捕捉短期和长期偏好动态。
• 在损失函数中集成关系感知正则化（RAR）项，以稳定训练并在未见节点和领域上提升泛化能力。
• 通过仅依赖局部子图结构，使模型架构具备归纳性，避免对全局节点嵌入的依赖。
• 对超参数（如跳数 h、子会话长度 τ 和 RA-GNN 层数量）进行调优，以在噪声与表达能力之间取得平衡。

实验结果

研究问题

• RQ1 单一顺序推荐模型能否同时有效支持传统、归纳和可迁移设置？
• RQ2 通过关系注意力图神经网络建模高阶用户-物品交互，如何提升顺序推荐性能？
• RQ3 顺序自注意力机制在不同领域中，能在多大程度上捕捉多样的时间用户行为模式？
• RQ4 关系感知正则化项如何在归纳和迁移学习设置中提升模型的泛化能力和鲁棒性？
• RQ5 RetaGNN 学习到的注意力权重是否能为推荐决策提供有意义的可解释性？

主要发现

• RetaGNN 在 MovieLens、Instagram 和 Book-Crossing 数据集上的所有三种设置（传统、归纳、可迁移）中，均优于当前最先进方法。
• 在 (h, τ) = (2, 4) 配置下性能最佳，其中 h 为跳数，τ 为短期子会话长度，表明该子图大小对性能最优。
• 使用 (L_lo, L_sh) = (2, 3) 作为长期和短期 RA-GNN 层的层数时表现最佳，表明适度深度可在表达能力与噪声敏感性之间取得平衡。
• 关系感知正则化项的 λ 值为 0.6 时性能最佳，表明适度正则化可在不损失灵活性的前提下提升泛化能力。
• 顺序自注意力机制有效捕捉了领域特异性行为，如 MovieLens 中的稳定偏好和 Instagram 中的突发性模式。
• RetaGNN 学习到的注意力权重提供了模型可解释性，能够反映用户偏好的动态变化以及过去物品的时间影响力。