[论文解读] Zero-Shot Recommender Systems

Hao Ding, Yifei Ma+3 more|arXiv (Cornell University)|May 18, 2021

Recommender Systems and Techniques参考文献 37被引用 14

一句话总结

本文提出 ZESRec，一种零样本推荐系统，通过使用自然语言描述作为连续物品嵌入，并基于序列交互模式建模用户偏好，实现对完全未见过的用户和物品的泛化。在三个真实世界数据集对中，该方法在冷启动设置下表现强劲，展示了在无重叠用户或物品情况下的有效迁移学习能力。

ABSTRACT

Performance of recommender systems (RS) relies heavily on the amount of training data available. This poses a chicken-and-egg problem for early-stage products, whose amount of data, in turn, relies on the performance of their RS. On the other hand, zero-shot learning promises some degree of generalization from an old dataset to an entirely new dataset. In this paper, we explore the possibility of zero-shot learning in RS. We develop an algorithm, dubbed ZEro-Shot Recommenders (ZESRec), that is trained on an old dataset and generalize to a new one where there are neither overlapping users nor overlapping items, a setting that contrasts typical cross-domain RS that has either overlapping users or items. Different from categorical item indices, i.e., item ID, in previous methods, ZESRec uses items' natural-language descriptions (or description embeddings) as their continuous indices, and therefore naturally generalize to any unseen items. In terms of users, ZESRec builds upon recent advances on sequential RS to represent users using their interactions with items, thereby generalizing to unseen users as well. We study three pairs of real-world RS datasets and demonstrate that ZESRec can successfully enable recommendations in such a zero-shot setting, opening up new opportunities for resolving the chicken-and-egg problem for data-scarce startups or early-stage products.

研究动机与目标

• 解决早期推荐系统中的鸡肋问题，即数据量过少限制了模型性能。
• 实现在无重叠用户或物品情况下的全新领域泛化。
• 克服类别物品 ID 的局限性，采用连续、通用的物品表示形式，如自然语言描述。
• 利用序列用户行为建模，基于用户交互历史泛化至未见过的用户。
• 开发统一框架，通过共享语义表示在不同领域间迁移用户偏好模式。

提出的方法

• 使用预训练 BERT 基础模型对物品自然语言描述进行嵌入，构建连续、通用的标识符空间。
• 采用序列推荐架构建模用户偏好，将物品交互历史编码为序列。
• 在包含已见用户和物品的源领域上训练模型，然后直接部署于包含完全未见用户和物品的目标领域。
• 利用通用嵌入实现对训练数据中未出现过的物品 ID 的零样本推理。
• 应用元学习和归纳偏置，优先学习从历史到下一物品的可泛化用户行为转移模式。
• 通过嵌入空间中的语义相似性对齐跨领域的用户表示，实现在未见用户上的推荐。

实验结果

研究问题

• RQ1 推荐系统是否能在训练过程中完全未见过用户和物品的新领域中实现泛化？
• RQ2 使用自然语言描述作为连续物品嵌入，在推荐中实现零样本泛化的效果如何？
• RQ3 序列用户行为建模在零样本设置下，使系统泛化至未见用户的能力有多大？
• RQ4 在冷启动条件下，ZESRec 与领域内基线模型相比，在性能和泛化能力方面表现如何？
• RQ5 ZESRec 是否能够学习并跨不同领域迁移用户行为模式，例如对口味变体的偏好？

主要发现

• 在所有三个数据集对中，ZESRec 在整个星期设置下均持续优于 HRNN-Meta 和 HRNN-Interactions 等领域内模型，展现出强大的泛化能力。
• 即使在首日设置下，ZESRec 的表现仍优于领域内模型，表明其在早期推荐阶段具备鲁棒性。
• 在 MIND NFL 数据对中，尽管源领域仅有 16.9 万次交互，而目标领域有 100 万次交互，ZESRec 仍取得优异结果，表明其在有限源数据下依然有效。
• 仅使用 1 万次目标领域交互进行增量训练，也未能超越 ZESRec，凸显了零样本学习在早期系统中的价值。
• 案例研究证实，ZESRec 成功学习到有意义的行为模式，例如用户从高糖零食转向草本茶，或从一种口味转向另一种口味，并据此成功推荐未见过的物品。
• 该模型成功向曾购买热带风味版本的用户推荐了带有浆果风味的 'V8 Splash'，展示了对基于口味偏好的模式迁移能力。