[论文解读] Zero-Shot Next-Item Recommendation using Large Pretrained Language Models

Lei Wang, Ee‐Peng Lim|arXiv (Cornell University)|Apr 6, 2023

Topic Modeling被引用 22

一句话总结

本文提出一种三步零样本下一项推荐（NIR）提示策略，通过构建候选集合并利用用户偏好和代表性电影选择来引导多步提示，使GPT-3在MovieLens 100K上实现具有竞争力的零样本结果。

ABSTRACT

Large language models (LLMs) have achieved impressive zero-shot performance in various natural language processing (NLP) tasks, demonstrating their capabilities for inference without training examples. Despite their success, no research has yet explored the potential of LLMs to perform next-item recommendations in the zero-shot setting. We have identified two major challenges that must be addressed to enable LLMs to act effectively as recommenders. First, the recommendation space can be extremely large for LLMs, and LLMs do not know about the target user's past interacted items and preferences. To address this gap, we propose a prompting strategy called Zero-Shot Next-Item Recommendation (NIR) prompting that directs LLMs to make next-item recommendations. Specifically, the NIR-based strategy involves using an external module to generate candidate items based on user-filtering or item-filtering. Our strategy incorporates a 3-step prompting that guides GPT-3 to carry subtasks that capture the user's preferences, select representative previously watched movies, and recommend a ranked list of 10 movies. We evaluate the proposed approach using GPT-3 on MovieLens 100K dataset and show that it achieves strong zero-shot performance, even outperforming some strong sequential recommendation models trained on the entire training dataset. These promising results highlight the ample research opportunities to use LLMs as recommenders. The code can be found at https://github.com/AGI-Edgerunners/LLM-Next-Item-Rec.

研究动机与目标

• 推动将大规模语言模型用于零样本下一项推荐的研究，超越传统的训练模型。
• 开发一种提示策略，以约束项目空间并在不进行微调的情况下捕捉用户偏好。
• 证明结构化提示在 MovieLens 100K 上能够获得具有竞争力的零样本推荐效果。

提出的方法

• 为每个用户构建一个候选项集合，通过用户过滤或项过滤来缩小推荐空间。
• 应用一个三步的 GPT-3 提示过程：第1步从观看的项目中总结用户偏好；第2步选择先前观看过的具有代表性的电影；第3步从候选集合中推荐一个排序的10部电影。
• 将第三步的答案进行格式化，以便简单提取推荐项（如具体的格式提示等）。
• 使用 GPT-3（text-davinci-003）在 MovieLens 100K 上进行评估，采用 HR@10 和 NDCG@10 作为衡量指标。

Figure 1. Example inputs and outputs of GPT-3 with zero-shot prompting for a NLP task and a recommendation task.

实验结果

研究问题

• RQ1 当在具有结构化提示的引导下，大型预训练语言模型是否能够执行零样本的下一项推荐？
• RQ2 通过候选集合和多步提示约束项目空间，是否能提升零样本推荐的准确性？
• RQ3 不同的提示组件（用户偏好、代表性电影选择、格式化）如何影响性能？
• RQ4 在 MovieLens 100K 上，零样本 NIR 与强训练基线及其他零样本方法相比有何表现？

主要发现

• 零样本 NIR 提示在很大程度上优于简单零样本提示和随机候选基线。
• 具有候选集合和多步提示的 NIR 方法在 MovieLens 100K 上可与全训练的顺序模型竞争。
• 使用用户筛选的候选集合（UF）通常比项筛选集合（IF）获得更好的结果。
• 将提示分离以包含中间结果（多提示）比将步骤合并到单一提示中表现更好。

Figure 2. Zero-Shot NIR prompts. The ground truth movie (i.e., The Rock) has been highlighted in red .