[论文解读] Sequential Recommendation with Relation-Aware Kernelized Self-Attention

Mingi Ji, Weonyoung Joo+3 more|arXiv (Cornell University)|Nov 15, 2019

Recommender Systems and Techniques参考文献 25被引用 6

一句话总结

本文提出关系感知核化自注意力（RKSA），一种用于序列推荐的随机自注意力机制，通过从共现、物品特征和用户数据中推导出的核化协方差矩阵，将用户-物品交互建模于多变量偏正态潜在空间中。RKSA 通过整合关系归纳偏置并实现可解释的注意力推理，相较于最先进模型在 MovieLens、Amazon 和 Steam 等多样化基准数据集上实现了持续性能提升。

ABSTRACT

Recent studies identified that sequential Recommendation is improved by the attention mechanism. By following this development, we propose Relation-Aware Kernelized Self-Attention (RKSA) adopting a self-attention mechanism of the Transformer with augmentation of a probabilistic model. The original self-attention of Transformer is a deterministic measure without relation-awareness. Therefore, we introduce a latent space to the self-attention, and the latent space models the recommendation context from relation as a multivariate skew-normal distribution with a kernelized covariance matrix from co-occurrences, item characteristics, and user information. This work merges the self-attention of the Transformer and the sequential recommendation by adding a probabilistic model of the recommendation task specifics. We experimented RKSA over the benchmark datasets, and RKSA shows significant improvements compared to the recent baseline models. Also, RKSA were able to produce a latent space model that answers the reasons for recommendation.

研究动机与目标

• 为解决确定性自注意力在序列推荐中处理数据稀疏性不足且缺乏可解释性的局限性。
• 将关系归纳偏置——捕捉共现、物品特征与用户行为——整合进自注意力机制，以实现更优的上下文建模。
• 通过学习反映用户序列中潜在关系的概率潜在空间，实现可解释的推荐推理。
• 开发一种灵活建模物品、用户与序列之间关系的核化协方差矩阵，提升模型适应性。
• 在具有不同稀疏度水平的真实世界数据集上，超越现有序列推荐模型。

提出的方法

• RKSA 通过将查询、键和值矩阵嵌入多变量偏正态（MSN）潜在空间，引入随机自注意力机制，以建模不确定性和关系上下文。
• MSN 分布的协方差矩阵通过一个可学习函数进行核化，整合共现统计、物品嵌入与用户嵌入，以捕捉关系依赖。
• 对 MSN 分布应用重参数化技巧，以支持潜在空间的近似推理与端到端训练。
• 模型采用多头注意力架构，每条注意力头在核化潜在空间上计算注意力，实现可扩展且表达能力强的关系建模。
• 核函数设计为可微且可适应，将多种关系信号（计数、物品、用户）与可学习权重结合，动态强调每组数据集的相关关系线索。
• 最终注意力输出通过从潜在 MSN 分布中可微采样过程计算，实现性能提升与可解释性兼顾。

实验结果

研究问题

• RQ1 具有概率潜在空间的随机自注意力机制是否能超越确定性注意力模型，在序列推荐中实现更优性能？
• RQ2 从共现、物品特征与用户行为中提取的关系归纳偏置，能否有效整合进自注意力机制，以更好建模序列依赖？
• RQ3 核化协方差建模在不同稀疏度的数据集上，对自注意力机制的适应性与泛化能力提升程度如何？
• RQ4 RKSA 中的潜在空间能否提供关于推荐推理过程的可解释洞察，例如突出显示相关物品或用户偏好？
• RQ5 不同核组件（计数、物品、用户）对性能的贡献如何？其相对权重如何随数据集特性自适应调整？

主要发现

• RKSA 在八个基准模型与五个多样化数据集上均达到最先进性能，涵盖稀疏（Beauty）与密集（MovieLens）设置。
• 在 Beauty 数据集上，计数核函数表现最佳，表明其通过共现模式有效应对数据稀疏性。
• 在 MovieLens 数据集上，用户核函数占主导地位，反映出模型通过强调用户特定偏好，有效适应密集用户交互模式。
• 在密集数据集上，物品与用户特征的核组合优于单一核函数，证明多模态关系建模的价值。
• RKSA 提升了对低频物品的预测准确率，表现为对低频物品的平均预测排名更高，尤其在稀疏数据集中相较于 SASRec 显著提升。
• 定性分析表明，RKSA 学习到有意义的物品嵌入与相关性矩阵：同一类型物品聚类在一起，共现频繁的配对表现出强注意力权重，验证了模型的关系推理能力。