[论文解读] SDM: Sequential Deep Matching Model for Online Large-scale Recommender System

Fuyu Lv, Taiwei Jin+5 more|arXiv (Cornell University)|Sep 1, 2019

Recommender Systems and Techniques参考文献 33被引用 17

一句话总结

本文提出SDM，一种序列深度匹配模型，通过结合多头自注意力机制以建模短期会话中的多种兴趣，以及长短期门控融合模块以选择性地整合相关长期偏好，从而捕捉动态用户偏好。该模型在离线数据集上达到最先进性能，并成功部署于淘宝大规模推荐系统，显著提升关键商业指标。

ABSTRACT

Capturing users' precise preferences is a fundamental problem in large-scale recommender system. Currently, item-based Collaborative Filtering (CF) methods are common matching approaches in industry. However, they are not effective to model dynamic and evolving preferences of users. In this paper, we propose a new sequential deep matching (SDM) model to capture users' dynamic preferences by combining short-term sessions and long-term behaviors. Compared with existing sequence-aware recommendation methods, we tackle the following two inherent problems in real-world applications: (1) there could exist multiple interest tendencies in one session. (2) long-term preferences may not be effectively fused with current session interests. Long-term behaviors are various and complex, hence those highly related to the short-term session should be kept for fusion. We propose to encode behavior sequences with two corresponding components: multi-head self-attention module to capture multiple types of interests and long-short term gated fusion module to incorporate long-term preferences. Successive items are recommended after matching between sequential user behavior vector and item embedding vectors. Offline experiments on real-world datasets show the superior performance of the proposed SDM. Moreover, SDM has been successfully deployed on online large-scale recommender system at Taobao and achieves improvements in terms of a range of commercial metrics.

研究动机与目标

• 为解决静态基于物品的协同过滤在大规模推荐系统中难以捕捉动态演变用户偏好的局限性。
• 建模单个短期用户会话中多种共存的兴趣倾向，而现有方法因依赖单注意力机制而无法捕捉此类复杂兴趣。
• 通过仅关注最相关长期行为，实现长期偏好与当前短期会话兴趣的有效融合。
• 设计一种可扩展、支持在线部署的匹配模型，以在真实工业应用中提升推荐准确率与商业指标。
• 克服噪声或无关长期行为在融合过程中扭曲短期会话表征的问题。

提出的方法

• 使用多头自注意力机制，建模单个短期会话内用户多样化的兴趣，使模型能够同时关注不同方面（如品类、品牌、风格）。
• 采用长短期门控融合模块，学习选择性地关注并融合最相关的长期用户行为与当前短期会话表征。
• 利用双向LSTM编码短期会话中用户的序列行为，捕捉时间依赖性。
• 基于最终LSTM隐藏状态作为查询，应用基于查询的多头自注意力机制，计算过去会话项目上的注意力权重。
• 使用可学习门控机制，动态控制长期偏好对当前会话的相关贡献。
• 将最终用户表征（由短期与长期行为融合得到）与物品嵌入向量进行匹配，以实现项目排序与推荐。

实验结果

研究问题

• RQ1 如何设计深度学习模型，以有效捕捉单个短期购物会话中多种共存的用户兴趣？
• RQ2 如何最优地融合长期用户偏好与当前会话行为，以提升推荐准确率？
• RQ3 与单注意力或仅RNN的方法相比，多头自注意力机制在建模动态用户偏好方面有何优势？
• RQ4 基于与当前会话相关性的选择性融合长期行为，在多大程度上优于简单的拼接或加法操作？
• RQ5 为在线部署设计的序列深度匹配模型，是否能在真实世界商业指标上实现可测量的改进？

主要发现

• 所提出的SDM模型在离线淘宝数据集上达到HitRate@100为70.72%，优于采用简单融合机制的基线模型。
• 使用四个注意力头时性能最佳，进一步增加头数会因每头表示容量下降而导致性能下降。
• 门控融合模块显著优于简单融合方法（如拼接、加法、逐元素相乘），F1@100提升达2.93%。
• 可视化结果表明，不同注意力头关注不同用户兴趣（如白色羽绒服、牛仔裤、连衣裙），验证了模型捕捉多种兴趣的能力。
• 通过融合当前会话行为与相关长期偏好，模型成功推荐了如“champion眼镜”和“红色醒酒器”等相关项目，展示了对上下文相关项目的有效关注。
• SDM已成功部署于淘宝生产推荐系统，关键商业指标实现可测量提升，证实了其在真实场景中的有效性。