[论文解读] Prompt Tuning Large Language Models on Personalized Aspect Extraction for Recommendations

Pan Li, Yuyan Wang+2 more|arXiv (Cornell University)|Jun 2, 2023

Web Data Mining and Analysis被引用 4

一句话总结

本文提出了一种端到端框架，通过提示微调的大规模语言模型（LLMs）联合优化个性化方面抽取与基于方面的推荐。通过从用户和商品嵌入构建特定任务的软提示，该方法生成上下文相关、用户个性化的方面术语，在三个工业数据集上显著提升了方面抽取准确率与推荐性能。

ABSTRACT

Existing aspect extraction methods mostly rely on explicit or ground truth aspect information, or using data mining or machine learning approaches to extract aspects from implicit user feedback such as user reviews. It however remains under-explored how the extracted aspects can help generate more meaningful recommendations to the users. Meanwhile, existing research on aspect-based recommendations often relies on separate aspect extraction models or assumes the aspects are given, without accounting for the fact the optimal set of aspects could be dependent on the recommendation task at hand. In this work, we propose to combine aspect extraction together with aspect-based recommendations in an end-to-end manner, achieving the two goals together in a single framework. For the aspect extraction component, we leverage the recent advances in large language models and design a new prompt learning mechanism to generate aspects for the end recommendation task. For the aspect-based recommendation component, the extracted aspects are concatenated with the usual user and item features used by the recommendation model. The recommendation task mediates the learning of the user embeddings and item embeddings, which are used as soft prompts to generate aspects. Therefore, the extracted aspects are personalized and contextualized by the recommendation task. We showcase the effectiveness of our proposed method through extensive experiments on three industrial datasets, where our proposed framework significantly outperforms state-of-the-art baselines in both the personalized aspect extraction and aspect-based recommendation tasks. In particular, we demonstrate that it is necessary and beneficial to combine the learning of aspect extraction and aspect-based recommendation together. We also conduct extensive ablation studies to understand the contribution of each design component in our framework.

研究动机与目标

• 弥合现有方法将方面抽取与基于方面的推荐视为独立任务的空白。
• 通过将方面抽取与下游推荐任务相结合，提升所提取方面的质量和相关性。
• 利用预训练的大规模语言模型，在极少监督条件下增强从用户评论中提取方面的能力。
• 开发一种个性化提示微调机制，根据用户和商品特征动态生成软提示。
• 证明联合学习方面抽取与推荐优于单独训练的效果。

提出的方法

• 使用微调后的 GPT-2 模型作为方面抽取器，输入由分词后的用户评论与软提示拼接而成。
• 从用户和商品特征嵌入构建软提示，这些提示在端到端训练过程中被学习。
• 将输出的方面术语与标准用户和商品嵌入拼接，作为基于方面的推荐模型的输入。
• 端到端训练整个框架，使推荐任务能够引导方面术语的学习。
• 采用提示微调方法适应预训练 LLM，避免全量微调，在保持泛化能力的同时实现任务特定适应。
• 使用注意力神经网络从提取的方面与用户-商品特征生成最终的基于方面的推荐。

Figure 1. Overview of the Proposed Model.

实验结果

研究问题

• RQ1 与分别训练相比，联合训练方面抽取与基于方面的推荐是否能提升性能？
• RQ2 使用用户和商品特定的软提示进行提示微调，在生成个性化且上下文相关的方面术语方面效果如何？
• RQ3 在标注方面数据有限的低资源设置下，基于 LLM 的方面抽取方法相较于传统 NLP 模型的性能优势有多大？
• RQ4 该框架在工业推荐系统中面对大规模用户和商品群体时的可扩展性如何？
• RQ5 各组件（如软提示设计、联合训练）对整体性能的贡献程度如何？

主要发现

• 所提出的框架在三个工业数据集上的个性化方面抽取与基于方面的推荐任务中，显著优于最先进基线方法。
• 联合训练方面抽取与推荐可生成更准确、更有用的方面术语，案例研究显示其与真实标注的对齐程度更高。
• 该模型在方面抽取性能上优于 DE-CNN、LCFS 和 ABAE 等基线模型，尤其在捕捉细微用户反馈（如“值得购买”或“水压”）方面表现更优。
• 可扩展性分析表明，即使用户和商品数量增加，该框架仍能保持高效的训练时间，支持在大规模系统中部署。
• 消融实验确认，基于用户和商品特征的软提示机制对个性化和性能提升至关重要。
• 该方法有效利用了 LLM 的少样本或零样本能力，使其适用于标注方面数据有限的真实推荐系统。

Figure 2. Scalability Analysis in three datasets using the training time for completing 10 epochs