[论文解读] OpenP5: An Open-Source Platform for Developing, Training, and Evaluating LLM-based Recommender Systems

Shuyuan Xu, Wenyue Hua+1 more|arXiv (Cornell University)|Jun 19, 2023

Topic Modeling被引用 7

一句话总结

OpenP5 是一个开源库，使用预训练、个性化提示和预测（P5）范式来基准测试推荐系统中的基础模型。它支持两个下游任务——序列化推荐和直接推荐——涵盖十个流行数据集，采用三种项目索引方法（随机、顺序、协同），并提供预训练检查点，包括统一的 Super P5 模型，在大多数基准测试中达到最先进性能，并展现出强大的零样本泛化能力。

ABSTRACT

In recent years, the integration of Large Language Models (LLMs) into recommender systems has garnered interest among both practitioners and researchers. Despite this interest, the field is still emerging, and the lack of open-source R&D platforms may impede the exploration of LLM-based recommendations. This paper introduces OpenP5, an open-source platform designed as a resource to facilitate the development, training, and evaluation of LLM-based generative recommender systems for research purposes. The platform is implemented using encoder-decoder LLMs (e.g., T5) and decoder-only LLMs (e.g., Llama-2) across 10 widely recognized public datasets, catering to two fundamental recommendation tasks: sequential and straightforward recommendations. Recognizing the crucial role of item IDs in LLM-based recommendations, we have also incorporated three item indexing methods within the OpenP5 platform: random indexing, sequential indexing and collaborative indexing. Built on the Transformers library, the platform facilitates easy customization of LLM-based recommendations for users. OpenP5 boasts a range of features including extensible data processing, task-centric optimization, comprehensive datasets and checkpoints, efficient acceleration, and standardized evaluations, making it a valuable tool for the implementation and evaluation of LLM-based recommender systems. The open-source code and pre-trained checkpoints for the OpenP5 library are publicly available at https://github.com/agiresearch/OpenP5.

研究动机与目标

• 为推荐系统中基础模型缺乏标准化基准测试的问题提供解决方案。
• 提供一个统一且可复现的平台，用于训练、评估和比较基于大语言模型的推荐系统。
• 通过个性化提示支持序列化和直接推荐任务。
• 通过在全部十个数据集上预训练的单一 Super P5 模型，实现跨领域推荐。
• 探究不同项目索引方法对生成式推荐性能的影响。

提出的方法

• 该框架基于 T5-small 模型构建，采用 P5 范式进行微调：先在用户-项目交互数据上进行预训练，再使用个性化提示进行微调。
• 个性化提示通过用户ID、项目ID和数据集名称构建，以实现零样本泛化并避免跨数据集幻觉。
• 实现了三种项目索引方法：随机（随机数字标记）、顺序（按时间顺序）和协同（基于用户-项目交互模式）。
• 采用平衡训练策略，在数据集和任务之间交替批量处理，以缓解数据不平衡和灾难性遗忘问题，尤其在 Super P5 训练中有效。
• 该库为单个数据集（P5）和一个在全部十个数据集上训练的统一 Super P5 模型提供预训练检查点。
• 评估使用标准指标 HR@k 和 NDCG@k，适用于序列化和直接推荐任务。

实验结果

研究问题

• RQ1 项目索引方法（随机、顺序、协同）的选择如何影响基于大语言模型的推荐系统性能？
• RQ2 单一统一模型（Super P5）是否能在无需领域特定微调的情况下，在多样化推荐领域中实现优异性能？
• RQ3 OpenP5 在零样本设置下的未见提示模板泛化能力如何，特别是在序列化推荐中？
• RQ4 在多数据集 Super P5 模型训练中，数据不平衡和灾难性遗忘的影响如何？
• RQ5 与现有序列化和协同过滤基线相比，OpenP5 在推荐准确率方面表现如何？

主要发现

• OpenP5 在大多数数据集和指标上表现最佳，其中协同索引方法优于随机和顺序索引方法。
• Super P5 模型在 ML-1M 数据集上优于多个基线模型，展现出强大的跨领域泛化能力。
• 在序列化推荐中，OpenP5 展现出强大的零样本泛化能力，部分数据集（如 ML-1M、LastFM）在未见提示上的表现甚至优于已见提示。
• 在直接推荐任务中，未见提示上的性能有所下降，可能是因为提示模板中的标记主导了用户ID嵌入表示。
• 在较小数据集（如 Beauty 和 LastFM）上，Super P5 的性能表现欠佳，可能由于多数据集训练过程中出现过拟合和数据不平衡问题。
• 该库实现了基础模型在推荐任务中高效且可复现的评估，提供全面的预训练检查点和标准化基准。