[论文解读] Recommender Systems with Generative Retrieval

Shashank Rajput, Nikhil Mehta+11 more|arXiv (Cornell University)|May 8, 2023

Recommender Systems and Techniques被引用 27

一句话总结

本论文介绍 TIGER，一种生成式检索框架，使用由 RQ-VAE 生成的语义ID 来训练 Transformer 序列到序列模型，预测下一个项的语义ID，在多个数据集上达到最先进结果，并实现冷启动和多样化推荐。

ABSTRACT

Modern recommender systems perform large-scale retrieval by first embedding queries and item candidates in the same unified space, followed by approximate nearest neighbor search to select top candidates given a query embedding. In this paper, we propose a novel generative retrieval approach, where the retrieval model autoregressively decodes the identifiers of the target candidates. To that end, we create semantically meaningful tuple of codewords to serve as a Semantic ID for each item. Given Semantic IDs for items in a user session, a Transformer-based sequence-to-sequence model is trained to predict the Semantic ID of the next item that the user will interact with. To the best of our knowledge, this is the first Semantic ID-based generative model for recommendation tasks. We show that recommender systems trained with the proposed paradigm significantly outperform the current SOTA models on various datasets. In addition, we show that incorporating Semantic IDs into the sequence-to-sequence model enhances its ability to generalize, as evidenced by the improved retrieval performance observed for items with no prior interaction history.

研究动机与目标

• 通过直接生成候选项的 ID，促使序列推荐系统超越传统的查询-候选匹配。
• 提出一种新颖的项的语义ID 表示，以实现语义共享和可扩展的索引。
• 开发基于 Transformer 的生成式检索模型，从用户序列预测下一个项的语义ID。
• 证明检索性能和泛化能力的提升，包括冷启动和多样化推荐。

提出的方法

• 将语义ID 作为从项的内容嵌入得到的离散代码词元的元组。
• 使用残差量化变分自编码器（RQ-VAE）将项内容嵌入量化为多级代码词元元组。
• 训练基于 Transformer 的序列到序列模型，从用户历史中预测下一个互动项的语义ID。
• 用一个4个词元的语义ID 表示每个项目（来自 RQ-VAE 的三个代码词元以及一个唯一的第四，以防止冲突）。
• 在输入中加入一个用户标记，以个性化推荐。
• 在基于 T5X 的编码器-解码器中使用语义ID 的词汇表为1024个词元，用户ID 为2000个词元，端到端可训练。

实验结果

研究问题

• RQ1 利用带语义ID 的生成式检索能否在序列推荐上优于传统的双编码方法？
• RQ2 基于内容的语义ID 是否能在对互动历史较少或没有的物品上实现更好的泛化（冷启动），并支持多样化推荐？
• RQ3 基于 RQ-VAE 的语义ID 生成与基于哈希或随机 ID 的方法在检索质量方面有何比较？

主要发现

• TIGER 在三个 Amazon 数据集（Beauty、Sports & Outdoors、Toys & Games）上，针对 Recall@5/10 和 NDCG@5/10，始终超越最先进的基线。
• 在 Beauty 数据集，TIGER 在 NDCG@5 相较第二好的基线提升高达 29%，在 Recall@5 相对于 S3-Rec 提升 17.3%。
• 在 Toys & Games 数据集，TIGER 的 NDCG@5 和 NDCG@10 分别提升 21% 和 15%。
• RQ-VAE 的语义ID 的检索效果优于 LSH 或 Random IDs，在各数据集上 LSH 和 Random IDs 表现较差。
• 该框架通过利用语义信息实现冷启动推荐，且通过基于温度的解码控制多样性。