[论文解读] RecMind: Large Language Model Powered Agent For Recommendation

Yan-Cheng Wang, Ziyan Jiang+8 more|arXiv (Cornell University)|Aug 28, 2023

Topic ModelingComputer Science被引用 3

一句话总结

RecMind 是一个基于大语言模型的自主智能体，通过自我激励规划、记忆整合与工具使用，增强个性化推荐。它在评分预测、序列推荐、解释生成和评论摘要等任务中，优于零样本/少样本 LLM 基线模型，并在性能上与完全微调的专家模型（P5）相当。

ABSTRACT

While the recommendation system (RS) has advanced significantly through deep learning, current RS approaches usually train and fine-tune models on task-specific datasets, limiting their generalizability to new recommendation tasks and their ability to leverage external knowledge due to model scale and data size constraints. Thus, we designed an LLM-powered autonomous recommender agent, RecMind, which is capable of leveraging external knowledge, utilizing tools with careful planning to provide zero-shot personalized recommendations. We propose a Self-Inspiring algorithm to improve the planning ability. At each intermediate step, the LLM self-inspires to consider all previously explored states to plan for the next step. This mechanism greatly improves the model's ability to comprehend and utilize historical information in planning for recommendation. We evaluate RecMind's performance in various recommendation scenarios. Our experiment shows that RecMind outperforms existing zero/few-shot LLM-based recommendation baseline methods in various tasks and achieves comparable performance to a fully trained recommendation model P5.

研究动机与目标

• 为解决在个性化推荐任务中利用大语言模型进行推理与工具使用方面的差距。
• 通过保留并整合历史推理路径，改进大语言模型智能体在推荐任务中的规划能力。
• 在无需任务特定微调的情况下，实现对推荐任务（如评分预测、解释生成）的泛化能力。
• 评估自我激励规划在提升推荐准确率与解释质量方面的有效性。

提出的方法

• 设计一个包含三个核心组件的自主智能体框架：规划、记忆（个性化与世界知识）以及用于外部知识检索的工具。
• 提出自我激励（SI）规划，即在每个规划步骤中保留并整合所有先前探索过的推理状态，以提升决策质量。
• 采用思维-行动-观察（TAO）框架，实现推荐任务中的结构化多步推理。
• 利用个性化记忆（用户特定数据）与世界知识（外部工具）以提升相关性与准确性。
• 采用少样本提示法并结合领域内示例，以提升零样本/少样本的泛化能力，尤其在跨领域设置中表现更优。
• 采用基于投票的评估器，用于在规划过程中剔除次优推理路径，提升鲁棒性。

实验结果

研究问题

• RQ1 具备自我激励规划的大语言模型智能体是否能在推荐任务中超越现有的思维链（CoT）与树状思维（ToT）方法？
• RQ2 自我激励规划机制在整合历史推理路径以提升推荐准确率方面的有效性如何？
• RQ3 RecMind 在使用少样本示例与领域内知识时，对未见领域的泛化能力达到何种程度？
• RQ4 与完全微调的模型（如 P5）和少样本 LLM 基线相比，RecMind 在解释质量与合理性方面表现如何？

主要发现

• 在从 Beauty 领域迁移至 Toys 和 Sports 领域的评分预测任务中，采用自我激励规划的 RecMind（RecMind-SI）取得 0.6245 的 MAE，优于 P5（0.7013）与 ChatGPT（0.6895）。
• 在 Sports 领域的直接推荐任务中，RecMind-SI 的 HR@5 达到 0.1124，超过 P5（0.1007）与 ChatGPT（0.0721）。
• 在解释生成任务中，RecMind-SI 在 Sports 领域取得 1.0537 的 BLEU2 分数，优于 P5（0.8924）与 ChatGPT（0.8795）。
• 人工评估显示，RecMind-SI 在解释排序中的平均 Top-1 比例达到 34.7%，显著高于 P5（3.7%）与 ChatGPT（18.7%）。
• RecMind-SI 在所有任务中均达到与完全预训练的 P5 模型相当的性能，包括解释生成与评论摘要任务。
• 如图 1 所示，自我激励机制在推理路径整合方面优于 ToT 或 CoT，体现在评分预测准确率的提升。