[论文解读] Multimodal Pre-training Framework for Sequential Recommendation via Contrastive Learning

Lingzi Zhang, Xin Zhou+2 more|arXiv (Cornell University)|Mar 21, 2023

Recommender Systems and Techniques被引用 7

一句话总结

本文提出 MSM4SR，一种用于序列推荐的多模态预训练框架，通过对比学习将用户行为序列与物品的多模态内容（文本和图像）对齐。通过使用视觉-语言模型将图像特征转换为文本标记，并引入一种新颖的多模态混合序列编码器（M2SE），MSM4SR 降低了模态差异和领域差距，在真实世界数据集上的序列推荐、冷启动推荐和跨领域推荐任务中均取得了最先进性能。

ABSTRACT

Current multimodal sequential recommendation models are often unable to effectively explore and capture correlations among behavior sequences of users and items across different modalities, either neglecting correlations among sequence representations or inadequately capturing associations between multimodal data and sequence data in their representations. To address this problem, we explore multimodal pre-training in the context of sequential recommendation, with the aim of enhancing fusion and utilization of multimodal information. We propose a novel Multimodal Pre-training for Sequential Recommendation (MP4SR) framework, which utilizes contrastive losses to capture the correlation among different modality sequences of users, as well as the correlation among different modality sequences of users and items. MP4SR consists of three key components: 1) multimodal feature extraction, 2) a backbone network, Multimodal Mixup Sequence Encoder (M2SE), and 3) pre-training tasks. After utilizing pre-trained encoders to generate initial multimodal features of items, M2SE adopts a complementary sequence mixup strategy to fuse different modality sequences, and leverages contrastive learning to capture modality interactions at the sequence-to-sequence and sequence-to-item levels. Extensive experiments on four real-world datasets demonstrate that MP4SR outperforms state-of-the-art approaches in both normal and cold-start settings. We further highlight the efficacy of incorporating multimodal pre-training in sequential recommendation representation learning, serving as an effective regularizer and optimizing the parameter space for the recommendation task.

研究动机与目标

• 通过利用丰富的多模态物品内容（文本和图像）来解决序列推荐中的数据稀疏性问题。
• 减少多模态推荐中文本模态与视觉模态之间的表示差异。
• 通过统一的预训练框架弥合用户行为序列与物品多模态内容之间的领域差距。
• 通过在混合模态序列上进行对比学习，提升序列推荐模型的泛化能力和可迁移性。
• 在冷启动和跨领域推荐等挑战性场景下验证所提出框架的有效性。

提出的方法

• 使用视觉-语言预训练模型将物品图像转换为文本关键词，实现与文本描述的语义对齐。
• 采用 Sentence-BERT 提取图像标记和物品描述的初始文本与视觉嵌入，以减少模态差异。
• 设计一种多模态混合序列编码器（M2SE），通过互补序列混合策略将用户行为序列与多模态物品特征融合。
• 引入两种对比学习目标：模态特定的下一个项目预测和跨模态对比学习，以对齐不同模态的表示。
• 在温暖物品上使用自监督对比信号预训练 M2SE，之后在下游推荐任务上进行微调。
• 通过参数高效微调策略，在适应新领域或冷门物品时冻结 Transformer 主干网络，仅更新模态编码器。

实验结果

研究问题

• RQ1 在数据稀疏条件下，结合对比学习的多模态预训练能否提升序列推荐性能？
• RQ2 所提出的 M2SE 模块在融合多模态物品内容与序列用户行为方面有多高效？
• RQ3 对比学习目标在多大程度上减少了模态差异并提升了表示泛化能力？
• RQ4 预训练的 MSM4SR 框架能否泛化到冷启动和跨领域推荐场景？
• RQ5 与直接使用图像嵌入的方法相比，图像到文本的标记化是否能提升多模态对齐效果？

主要发现

• MSM4SR 在三个真实世界数据集上优于最先进序列推荐模型，在所有评估指标上均取得最高性能。
• 在冷启动推荐中，MSM4SR 相比最佳基线模型在 R@10 上提升 15.5%，在 N@10 上提升 14.7%，展现出对低数据物品的强大泛化能力。
• 在跨领域推荐中，MSM4SR Cross 在 Pantry 数据集上达到最高的 R@10（0.0622）和 N@10（0.0294），在 Arts 数据集上 R@10 达到 0.1041，优于 UniSRec 和 RecGURU。
• 消融实验证实预训练至关重要：MSM4SR w/o Pre-train 表现低于完整模型，证明了自监督预训练的价值。
• 跨模态对比学习损失显著提升了表示对齐效果，表现为在域内和迁移学习任务中性能均更优。
• 使用图像生成的文本标记相比直接图像编码器能实现更好的语义对齐，有效减少模态差距，且无需额外投影头。