[论文解读] Neural Attentive Session-based Recommendation

Jing Li, Pengjie Ren+3 more|arXiv (Cornell University)|Nov 13, 2017

Recommender Systems and Techniques参考文献 20被引用 30

一句话总结

本文提出神经注意推荐机器（NARM），一种深度学习框架，通过使用注意力机制联合建模用户序列行为与主要目的，从而增强基于会话的推荐。通过关注会话中的关键项目，并利用双线性匹配方案将这些项目与RNN编码的序列特征相结合，NARM在长会话中表现尤为出色，相比先前方法在长会话预测上最高提升15.32%。

ABSTRACT

Given e-commerce scenarios that user profiles are invisible, session-based recommendation is proposed to generate recommendation results from short sessions. Previous work only considers the user's sequential behavior in the current session, whereas the user's main purpose in the current session is not emphasized. In this paper, we propose a novel neural networks framework, i.e., Neural Attentive Recommendation Machine (NARM), to tackle this problem. Specifically, we explore a hybrid encoder with an attention mechanism to model the user's sequential behavior and capture the user's main purpose in the current session, which are combined as a unified session representation later. We then compute the recommendation scores for each candidate item with a bi-linear matching scheme based on this unified session representation. We train NARM by jointly learning the item and session representations as well as their matchings. We carried out extensive experiments on two benchmark datasets. Our experimental results show that NARM outperforms state-of-the-art baselines on both datasets. Furthermore, we also find that NARM achieves a significant improvement on long sessions, which demonstrates its advantages in modeling the user's sequential behavior and main purpose simultaneously.

研究动机与目标

• 为解决现有基于会话的推荐模型仅关注序列行为而未捕捉用户在会话中的主要目的这一局限性。
• 通过结合注意力机制的混合编码器，联合建模序列行为与用户意图，以提升推荐准确率。
• 构建统一的会话表征，以同时捕捉用户交互的流动性和反映用户意图的最相关项目。
• 证明注意力建模在用户意图更清晰表达的长会话中尤为有效。

提出的方法

• NARM采用混合编码器，结合基于GRU的RNN用于序列建模，以及用户意图感知的注意力机制，以识别会话中的关键项目。
• 注意力机制根据项目与用户主要目的的相关性，动态计算每个项目的权重，相关性越高的项目获得的权重越大。
• 通过双线性匹配方案，测量统一会话表征与候选项目之间的兼容性，以计算推荐得分。
• 模型端到端训练，联合优化项目表征、会话表征及其匹配得分。
• 注意力权重通过从GRU最终隐藏状态派生的查询向量计算，使模型能够聚焦于最能反映用户意图的项目。
• 统一会话表征通过拼接GRU最终隐藏状态与基于注意力权重的项目嵌入加权和而形成。

实验结果

研究问题

• RQ1 当仅依靠序列行为不足以确定用户主要目的时，注意力机制能否有效识别用户在会话中的主要目的？
• RQ2 联合建模序列行为与用户意图是否能提升推荐准确率，尤其是在长会话中？
• RQ3 NARM在不同会话长度下与基于RNN的基线模型相比表现如何？
• RQ4 注意力机制在多大程度上突出语义上相关但未必位于会话末尾的项目？

主要发现

• 在DIGINETICA与Diginomail数据集上，NARM在所有评估指标上均优于当前最优的Improved GRU-Rec基线模型。
• 在DIGINETICA数据集中，对于长度为11的会话，NARM在准确率上实现了15.32%的提升，表明其在长会话中表现强劲。
• 对于长度为4至17的会话，NARM持续优于基线模型，提升幅度在8.24%至15.32%之间，表明其对用户意图建模有效。
• 注意力机制成功识别出关键项目，这些项目通常位置集中且常靠近会话末尾，与典型浏览行为一致。
• 在极长会话中（如长度17以上），性能提升减弱，可能由于无目的点击引入的噪声增加，表明注意力建模在此类场景下存在局限。
• 可视化结果证实，注意力机制会为语义相关项目分配更高权重，即使这些项目出现在会话早期或中间，证明其能够捕捉超越序列顺序的意图。