[论文解读] Towards Open-World Recommendation with Knowledge Augmentation from Large Language Models

Yunjia Xi, Weiwen Liu+9 more|arXiv (Cornell University)|Jun 19, 2023

Topic Modeling被引用 7

一句话总结

该论文提出KAR框架，通过利用大语言模型（LLMs）提取用户偏好推理知识和物品事实知识，增强推荐系统在开放世界中的表现。通过因子分解提示和混合专家适配器，KAR将LLM输出转化为紧凑、任务兼容的向量，实现显著的性能提升——在线A/B测试中分别取得7%和1.7%的改进，同时通过预存储知识实现低推理延迟。

ABSTRACT

Recommender systems play a vital role in various online services. However, the insulated nature of training and deploying separately within a specific domain limits their access to open-world knowledge. Recently, the emergence of large language models (LLMs) has shown promise in bridging this gap by encoding extensive world knowledge and demonstrating reasoning capability. Nevertheless, previous attempts to directly use LLMs as recommenders have not achieved satisfactory results. In this work, we propose an Open-World Knowledge Augmented Recommendation Framework with Large Language Models, dubbed KAR, to acquire two types of external knowledge from LLMs -- the reasoning knowledge on user preferences and the factual knowledge on items. We introduce factorization prompting to elicit accurate reasoning on user preferences. The generated reasoning and factual knowledge are effectively transformed and condensed into augmented vectors by a hybrid-expert adaptor in order to be compatible with the recommendation task. The obtained vectors can then be directly used to enhance the performance of any recommendation model. We also ensure efficient inference by preprocessing and prestoring the knowledge from the LLM. Extensive experiments show that KAR significantly outperforms the state-of-the-art baselines and is compatible with a wide range of recommendation algorithms. We deploy KAR to Huawei's news and music recommendation platforms and gain a 7\% and 1.7\% improvement in the online A/B test, respectively.

研究动机与目标

• 解决封闭世界推荐系统缺乏其训练领域之外外部世界知识的局限性。
• 克服直接微调或提示LLM在推荐任务中因与推荐目标不匹配而导致的性能不佳问题。
• 通过主动获取两类外部知识——用户偏好的推理知识与物品的事实知识——实现开放世界推荐。
• 通过预处理并预存储LLM生成的知识向量，确保在工业场景中实现高效、低延迟推理。
• 通过避免直接暴露LLM生成的文本，而改用鲁棒的向量表示，保护隐私并降低幻觉风险。

提出的方法

• 引入因子分解提示，从LLM中提取关于用户行为历史和用户画像的准确、结构化推理，将复杂偏好分解为可解释的组件。
• 通过提示工程从LLM中提取物品的事实知识，查询外部世界知识，如物品属性、剧情或评论。
• 设计混合专家适配器，将LLM生成的文本知识转化为密集、紧凑且与下游推荐模型兼容的任务特定嵌入向量。
• 通过预计算并存储增强后的向量，将适配器与推理解耦，实现与基础推荐模型相当的推理速度。
• 将预存储的知识向量无缝集成到任何现有推荐模型（如DIN）中，无需架构修改，确保广泛兼容性。
• 在生产环境中使用自研LLM（如PanGu），避免通过第三方API导致的数据隐私泄露，提升数据安全性。

实验结果

研究问题

• RQ1 大语言模型能否有效用于提取超越简单行为模式的用户偏好有意义推理？
• RQ2 当原始数据集中不存在时，LLM提取的物品事实知识是否能提升推荐准确率？
• RQ3 如何将LLM生成的知识转化为与现有推荐模型兼容的形式，而无需重新训练？
• RQ4 在将LLM集成到实时推荐系统时，应采用何种策略确保低延迟推理？
• RQ5 在生产环境中使用LLM进行推荐系统时，如何缓解幻觉或数据泄露等隐私与安全风险？

主要发现

• KAR在华为新闻推荐平台的在线A/B测试中实现了7%的相对性能提升，显著优于最先进基线模型。
• KAR在华为音乐推荐平台实现了1.7%的性能提升，表明其在不同领域中均具有一致的增益效果。
• 在MovieLens-1M数据集上，KAR采用预存储知识（KAR$_{w/o ext{ }apt}$）的推理延迟降低至每样本6.64×10⁻³秒，与基础DIN模型（6.42×10⁻³秒）相当。
• 直接使用LLM API进行推理在实时系统中不可行，其在MovieLens-1M上的平均延迟高达5.54秒，远超工业应用100ms的阈值。
• 即使使用微调后的LLM（如TALLRec），推理延迟仍维持在约0.7秒，对实时部署而言过高。
• 混合专家适配器能有效将LLM输出浓缩为紧凑且信息丰富的向量，显著提升多种模型与数据集上的推荐性能。