[论文解读] Text Is All You Need: Learning Language Representations for Sequential Recommendation

Jiacheng Li, Ming Wang+5 more|arXiv (Cornell University)|May 23, 2023

Recommender Systems and Techniques被引用 5

一句话总结

本文提出 Recformer，一种新颖的序列推荐框架，通过将物品表示为基于键值属性的自然语言句子，利用双向 Transformer 实现上下文和序列化语言表征的端到端学习。Recformer 通过在语言理解与推荐任务上进行联合预训练，在低资源和冷启动设置下均取得最先进性能，展现出强大的跨数据集和物品的迁移能力，且无需依赖物品 ID。

ABSTRACT

Sequential recommendation aims to model dynamic user behavior from historical interactions. Existing methods rely on either explicit item IDs or general textual features for sequence modeling to understand user preferences. While promising, these approaches still struggle to model cold-start items or transfer knowledge to new datasets. In this paper, we propose to model user preferences and item features as language representations that can be generalized to new items and datasets. To this end, we present a novel framework, named Recformer, which effectively learns language representations for sequential recommendation. Specifically, we propose to formulate an item as a "sentence" (word sequence) by flattening item key-value attributes described by text so that an item sequence for a user becomes a sequence of sentences. For recommendation, Recformer is trained to understand the "sentence" sequence and retrieve the next "sentence". To encode item sequences, we design a bi-directional Transformer similar to the model Longformer but with different embedding layers for sequential recommendation. For effective representation learning, we propose novel pretraining and finetuning methods which combine language understanding and recommendation tasks. Therefore, Recformer can effectively recommend the next item based on language representations. Extensive experiments conducted on six datasets demonstrate the effectiveness of Recformer for sequential recommendation, especially in low-resource and cold-start settings.

研究动机与目标

• 为解决基于 ID 的序列推荐模型在处理冷启动物品和跨域迁移时的局限性。
• 将语言表征学习与序列推荐统一为一个可迁移的单一框架。
• 通过利用物品的自然语言属性，实现在数据集和新物品之间有效知识迁移。
• 通过联合训练推荐与语言理解任务，克服通用预训练语言模型生成的次优文本表征。
• 开发一种能够从物品属性中学习细粒度词级偏好而非粗粒度句子级特征的框架。

提出的方法

• 物品被表示为键值属性对序列（例如，'color: red'，'brand: Nike'），形成自然语言标记的'句子'。
• 采用受 Longformer 启发但专为推荐任务优化的双向 Transformer 架构，通过相对位置嵌入和稀疏注意力机制实现高效编码。
• 模型在双重目标上进行预训练：在物品属性序列上进行掩码语言建模，以及在用户交互序列上进行下一项预测。
• 在推荐特定目标上进行联合微调，使语言理解与序列行为建模对齐。
• 引入特殊标记嵌入以区分用户交互历史、物品属性和序列边界。
• 通过从物品属性学习到的语言表征泛化能力，实现零样本和少样本推荐。

实验结果

研究问题

• RQ1 能否有效将物品属性建模为自然语言序列以提升序列推荐性能？
• RQ2 在语言理解与下一项预测任务上进行联合预训练是否能提升性能，尤其是在低资源设置下？
• RQ3 该模型是否能在不重新训练物品 ID 的情况下，泛化到冷启动物品和新数据集？
• RQ4 在迁移学习场景下，所提出的语言表征框架与基于 ID 和预训练语言模型的基线方法相比表现如何？
• RQ5 细粒度词级理解与粗粒度句子级特征在序列推荐中的贡献分别是什么？

主要发现

• Recformer 在六个基准数据集上均取得最先进性能，在全监督和低资源设置下均优于现有方法。
• 模型在冷启动和零样本推荐中表现显著提升，展现出在数据集和新物品之间强大的迁移能力。
• 消融实验证实，联合预训练语言与推荐任务比单独预训练任一任务更能提升性能。
• 将键值属性序列作为自然语言句子进行建模，相比标准物品 ID 或嵌入基方法，能更优地捕捉用户偏好。
• 采用稀疏注意力机制的双向 Transformer 能有效捕捉用户交互序列中的长距离依赖关系，同时保持计算效率。
• 该框架减少了对物品特定嵌入的依赖，实现了对未见物品和新领域的泛化，而无需重新训练。