[论文解读] Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5)

Shijie Geng, Shuchang Liu+3 more|arXiv (Cornell University)|Mar 24, 2022

Topic Modeling被引用 5

一句话总结

该论文提出P5，一种统一的预训练、个性化提示和预测范式，将推荐任务转化为自然语言的文本到文本任务。通过将用户-物品交互、评论和元数据转换为提示微调的语言序列，P5实现了在多种推荐任务上的零样本泛化——在仅需极少微调的情况下，于五个任务类别上达到最先进或具有竞争力的性能。

ABSTRACT

For a long time, different recommendation tasks typically require designing task-specific architectures and training objectives. As a result, it is hard to transfer the learned knowledge and representations from one task to another, thus restricting the generalization ability of existing recommendation approaches, e.g., a sequential recommendation model can hardly be applied or transferred to a review generation method. To deal with such issues, considering that language can describe almost anything and language grounding is a powerful medium to represent various problems or tasks, we present a flexible and unified text-to-text paradigm called "Pretrain, Personalized Prompt, and Predict Paradigm" (P5) for recommendation, which unifies various recommendation tasks in a shared framework. In P5, all data such as user-item interactions, user descriptions, item metadata, and user reviews are converted to a common format -- natural language sequences. The rich information from natural language assists P5 to capture deeper semantics for personalization and recommendation. Specifically, P5 learns different tasks with the same language modeling objective during pretraining. Thus, it serves as the foundation model for various downstream recommendation tasks, allows easy integration with other modalities, and enables instruction-based recommendation based on prompts. P5 advances recommender systems from shallow model to deep model to big model, and will revolutionize the technical form of recommender systems towards universal recommendation engine. With adaptive personalized prompt for different users, P5 is able to make predictions in a zero-shot or few-shot manner and largely reduces the necessity for extensive fine-tuning. On several recommendation benchmarks, we conduct experiments to show the effectiveness of P5. We release the source code at https://github.com/jeykigung/P5.

研究动机与目标

• 将多样化的推荐任务——如评分预测、序列推荐和评论生成——统一到一个共享框架中。
• 通过共享的语言建模目标，克服特定任务架构的局限性，实现在推荐任务之间的知识迁移。
• 通过个性化提示实现零样本和少样本推荐，减少对大量微调的依赖。
• 探索基于指令的推荐在自然语言提示下的可行性，受近期提示驱动大语言模型进展的启发。
• 通过将多模态数据整合到统一的基于文本的范式中，建立通用推荐引擎的基础。

提出的方法

• 使用特定任务的提示模板，将所有推荐数据——用户-物品交互、用户资料、物品元数据和评论——转换为自然语言序列。
• 在包含个性化提示的多任务数据集上，使用共享的语言建模目标，对基于T5的序列到序列Transformer模型进行预训练。
• 在推理阶段使用自适应的、用户特定的提示，实现在无需重新训练的情况下进行零样本或少样本预测。
• 通过子词分词与完整词嵌入实现个性化，保留语义结构的同时最小化可学习参数量。
• 设计一个覆盖五个任务类别的提示库：评分预测、序列推荐、评论生成、解释生成和物品检索。
• 通过在未见提示、新物品和跨领域设置下进行零样本迁移，使用标准化基准评估泛化能力。

实验结果

研究问题

• RQ1 统一的文本到文本框架是否能有效在单一预训练目标下统一多样化的推荐任务？
• RQ2 P5在零样本或少样本设置下，对未见个性化提示和新物品的泛化能力如何？
• RQ3 提示设计与提示扩展对不同推荐任务中模型性能的影响如何？
• RQ4 个性化策略的选择（子词分词 vs. 专用标记）对模型性能和泛化能力的影响如何？
• RQ5 P5在在多大程度上可作为通用推荐的基础模型，支持基于指令和多模态推荐？

主要发现

• P5在所有五个推荐任务类别——评分预测、序列推荐、评论生成、解释生成和物品检索——的基准数据集上，均达到最先进或具有竞争力的性能。
• P5展现出强大的零样本泛化能力：在未见提示（例如解释生成的Prompt 3-12）上无需任何微调即可表现良好。
• 扩展提示库（P5-PS）提升了大多数任务的性能，尤其是在零样本任务中，表明高质量、多样化的提示可增强泛化能力。
• 默认的基于子词的个性化策略（P5-S）在序列推荐和直接推荐任务中优于专用标记方法（P5-I），因其具有更好的参数效率和协同学习能力。
• P5-I在部分生成任务（如解释生成）中表现相当或略优，但在排序和序列任务中显著表现欠佳，凸显了个性化中标记爆炸的局限性。
• 该模型在不同领域和新物品上均表现出有效的泛化能力，证实其作为通用推荐引擎的潜力。