[论文解读] Representation Learning with Large Language Models for Recommendation

Xubin Ren, Wei Wei+6 more|arXiv (Cornell University)|Oct 24, 2023

Recommender Systems and Techniques被引用 10

一句话总结

这篇论文提出了 RLMRec，这是一个模型无关的框架，利用大型语言模型（LLMs）通过最大化互信息将 LLM 派生的语义表示与协同过滤嵌入对齐，来增强现有的推荐系统。

ABSTRACT

Recommender systems have seen significant advancements with the influence of deep learning and graph neural networks, particularly in capturing complex user-item relationships. However, these graph-based recommenders heavily depend on ID-based data, potentially disregarding valuable textual information associated with users and items, resulting in less informative learned representations. Moreover, the utilization of implicit feedback data introduces potential noise and bias, posing challenges for the effectiveness of user preference learning. While the integration of large language models (LLMs) into traditional ID-based recommenders has gained attention, challenges such as scalability issues, limitations in text-only reliance, and prompt input constraints need to be addressed for effective implementation in practical recommender systems. To address these challenges, we propose a model-agnostic framework RLMRec that aims to enhance existing recommenders with LLM-empowered representation learning. It proposes a recommendation paradigm that integrates representation learning with LLMs to capture intricate semantic aspects of user behaviors and preferences. RLMRec incorporates auxiliary textual signals, develops a user/item profiling paradigm empowered by LLMs, and aligns the semantic space of LLMs with the representation space of collaborative relational signals through a cross-view alignment framework. This work further establish a theoretical foundation demonstrating that incorporating textual signals through mutual information maximization enhances the quality of representations. In our evaluation, we integrate RLMRec with state-of-the-art recommender models, while also analyzing its efficiency and robustness to noise data. Our implementation codes are available at https://github.com/HKUDS/RLMRec.

研究动机与目标

• 激励使用文本信息和 LLM 来补充基于 ID 的推荐系统，并减轻隐式反馈中的噪声。
• 提出理论基础，表明通过互信息最大化整合文本信号能够提升表示质量。
• 引入由 LLM 支持的用户/物品画像范式，以生成更有语义的画像以改进偏好学习。
• 开发跨视图对齐框架，将 LLM 语义空间与协作关系信号对齐。
• 证明 RLMRec 可以与最先进的推荐系统集成，并分析对噪声的鲁棒性。

提出的方法

• 在有噪声的条件下形式化学习用户/物品表示的概率观点，并引入一个隐藏先验 z，帮助识别观测交互中的真实正样本。
• 通过精心设计的提示和基于推理的提示（通过推理生成画像）定义由 LLM 生成的文本增强的用户/物品画像。
• 从标题、描述、属性和评论构建物品画像；从交互过的物品文本和评论构建用户画像。
• 建模密度比 f(s,e) ，通过两种方法最大化互信息 I(e;s)：(a) 对比对齐，通过余弦相似度映射到 e-space 将 e 和 s 拉近；(b) 生成对齐，通过掩码自编码器式的语义空间重建。
• 提出一个模型无关的学习框架，将 L_info（互信息目标）添加到任意推荐器的损失 L_R 中，得到联合目标 L = L_R + L_info。
• 概述两个具体实现：RLMRec-Con（对比）和 RLMRec-Gen（生成）用于密度比建模。

实验结果

研究问题

• RQ1 来自 LLM 派生画像的文本信号是否能够提升基于 ID 的推荐系统中学习到的表示质量？
• RQ2 如何将 LLM 派生表示的语义空间与协作关系空间对齐以提升推荐？
• RQ3 互信息最大化是否是将文本信号整合到协同过滤中的可行理论基础？
• RQ4 LLM 增强的表示是否能够提升对真实世界数据中噪声和不完整数据的鲁棒性？
• RQ5 RLMRec 能否在不牺牲效率的情况下与现有的最先进推荐模型有效集成？

主要发现

• RLMRec 在 Recall 和 NDCG 指标上，对基线骨干网络（例如 LightGCN、SGL）在数据集 Amazon-book、Yelp、Steam 上持续提升。
• RLMRec-Con 与 RLMRec-Gen 在若干指标和数据集上均显著优于基线。
• 提出的基于互信息的对齐有效缓解表示中的噪声信号，提升推荐质量。
• 实验表明，使用文本信号时对噪声和不完整数据的鲁棒性显著提高。
• 该框架是模型无关的，兼容多种骨干推荐器，相对于仅文本方法保持或提升效率。
• RLMRec 的代码公开可在作者的仓库获得。