[论文解读] When Multi-Level Meets Multi-Interest: A Multi-Grained Neural Model for Sequential Recommendation

Yu Tian, Jianxin Chang+3 more|arXiv (Cornell University)|May 3, 2022

Recommender Systems and Techniques被引用 4

一句话总结

该论文提出MGNM，一种多粒度神经模型，通过图卷积和序列胶囊网络统一了序列推荐中的多粒度用户偏好建模与多兴趣学习，实现了最先进性能，HIT@5提升最高达4.35%，NDCG@5提升最高达3.12%。

ABSTRACT

Sequential recommendation aims at identifying the next item that is preferred by a user based on their behavioral history. Compared to conventional sequential models that leverage attention mechanisms and RNNs, recent efforts mainly follow two directions for improvement: multi-interest learning and graph convolutional aggregation. Specifically, multi-interest methods such as ComiRec and MIMN, focus on extracting different interests for a user by performing historical item clustering, while graph convolution methods including TGSRec and SURGE elect to refine user preferences based on multi-level correlations between historical items. Unfortunately, neither of them realizes that these two types of solutions can mutually complement each other, by aggregating multi-level user preference to achieve more precise multi-interest extraction for a better recommendation. To this end, in this paper, we propose a unified multi-grained neural model(named MGNM) via a combination of multi-interest learning and graph convolutional aggregation. Concretely, MGNM first learns the graph structure and information aggregation paths of the historical items for a user. It then performs graph convolution to derive item representations in an iterative fashion, in which the complex preferences at different levels can be well captured. Afterwards, a novel sequential capsule network is proposed to inject the sequential patterns into the multi-interest extraction process, leading to a more precise interest learning in a multi-grained manner.

研究动机与目标

• 为解决现有序列推荐模型在建模复杂、多粒度用户偏好方面的局限性。
• 通过在单一框架中统一多兴趣学习与多粒度偏好建模，弥合两者之间的差距。
• 通过可学习的图构建与迭代图卷积过程，捕获用户高层与细粒度兴趣，提升推荐准确率。
• 通过新颖的序列胶囊网络整合序列模式，增强多兴趣提取能力。
• 在多样化的现实推荐场景中验证所提模型的有效性与鲁棒性。

提出的方法

• MGNM从用户历史行为构建用户感知的物品交互图，将松散的序列转化为结构化图，以提升偏好建模效果。
• 通过迭代图卷积操作，提取能捕捉不同粒度下复杂多级偏好的物品表征。
• 设计了一种新颖的序列胶囊网络，将序列模式注入多兴趣学习过程，提升兴趣提取的精度。
• 通过在多层图卷积上进行最大池化操作，识别每个用户最相关的偏好层级，实现多粒度兴趣表征。
• 以端到端可训练方式整合多兴趣学习与多粒度偏好建模，关注用户特定的兴趣动态。
• 采用对比学习目标进行模型训练，以增强表征质量与在多样化用户行为下的泛化能力。

实验结果

研究问题

• RQ1 将多粒度偏好建模与多兴趣学习相结合，能否提升序列推荐性能？
• RQ2 将序列模式整合到多兴趣提取过程中，对推荐准确率有何影响？
• RQ3 用户兴趣表征的不同粒度层级对模型性能有何影响？
• RQ4 该模型在具有不同语义复杂度的多样化推荐场景中表现如何？
• RQ5 不同数据集下，最优的兴趣聚类数（K）与图卷积层数（L）分别是多少？

主要发现

• MGNM在三个真实世界数据集上均达到最先进性能，相比最佳基线模型，NDCG@5提升3.12%，HIT@5提升4.35%。
• 模型在多样化推荐场景中表现出强鲁棒性，包括电商、短视频和乐器音乐场景，且在不同超参数设置下性能稳定。
• 最优兴趣聚类数（K）在Toys and Games数据集中为2，在Micro-video数据集中为4，反映出语义复杂度的差异。
• 多粒度偏好建模显著提升性能，尤其在语义空间更广的Micro-video数据集中，高层偏好发挥更重要作用。
• 最大池化在推理阶段优于求和池化，证实了用户感知的多粒度偏好选择机制的有效性。
• 训练时间计算效率高，即使在大规模数据集如Micro-video上，单张GPU每轮训练仅需约1.5小时。