[论文解读] Towards Open-World Recommendation: An Inductive Model-based Collaborative Filtering Approach

Qitian Wu, Hengrui Zhang+3 more|arXiv (Cornell University)|Jul 9, 2020

Recommender Systems and Techniques被引用 12

一句话总结

本文提出IDCF，一种归纳协同过滤框架，可在开放世界推荐系统中实现对新用户和少样本用户的高效、可扩展且高容量的表征学习。通过基于注意力的消息传递在关键用户元潜在表征上学习动态用户-用户关系图，IDCF在无需微调的情况下实现了少样本和零样本用户的最先进性能，甚至在高稀疏性条件下也优于归纳模型。

ABSTRACT

Recommendation models can effectively estimate underlying user interests and predict one's future behaviors by factorizing an observed user-item rating matrix into products of two sets of latent factors. However, the user-specific embedding factors can only be learned in a transductive way, making it difficult to handle new users on-the-fly. In this paper, we propose an inductive collaborative filtering framework that contains two representation models. The first model follows conventional matrix factorization which factorizes a group of key users' rating matrix to obtain meta latents. The second model resorts to attention-based structure learning that estimates hidden relations from query to key users and learns to leverage meta latents to inductively compute embeddings for query users via neural message passing. Our model enables inductive representation learning for users and meanwhile guarantees equivalent representation capacity as matrix factorization. Experiments demonstrate that our model achieves promising results for recommendation on few-shot users with limited training ratings and new unseen users which are commonly encountered in open-world recommender systems.

研究动机与目标

• 解决在推理时新用户不断出现的开放世界推荐设置中部署推荐模型的挑战。
• 克服归纳协同过滤的局限性，即在不重新训练的情况下无法泛化到新用户。
• 在支持归纳推理的同时，保持用户特定嵌入的高表征容量。
• 开发一种可扩展且高效的框架，使其能很好地泛化到历史评分极少或没有评分的用户。
• 以端到端、数据驱动的方式整合结构学习与消息传递，以提升归纳表征学习性能。

提出的方法

• 在关键用户子集上使用矩阵分解，学习捕捉用户偏好模式的元潜在表征。
• 学习一种动态的、基于注意力的用户-用户关系图，以建模查询用户与关键用户之间的隐藏依赖关系。
• 应用神经消息传递，将元潜在表征从关键用户传播到查询用户，从而实现用户嵌入的归纳计算。
• 将关系学习表述为可微过程，由下游推荐损失引导，实现结构与表征的联合优化。
• 采用基于图神经网络的变体（IDCF-GC），通过图卷积层增强消息传递，以改善关系建模。
• 使用观察到的评分监督信号进行端到端训练，使模型能够泛化到未见用户。

实验结果

研究问题

• RQ1 我们能否在不牺牲表征容量的前提下，实现协同过滤中新用户的归纳表征学习？
• RQ2 如何以数据驱动的方式有效建模用户-用户关系，以支持归纳推理？
• RQ3 在学习到的关系上进行基于注意力的消息传递，能否提升对少样本和零样本用户的性能？
• RQ4 在高评分稀疏性条件下，所提出的归纳框架与归纳模型相比表现如何？
• RQ5 具有更多历史评分的关键用户在注意力机制中扮演什么角色，以及对模型泛化有何影响？

主要发现

• 对于历史评分少于五个的用户，IDCF-GC在RMSE上相比最佳归纳模型（GCMC）实现了2.5%的相对提升。
• 该模型在高稀疏性下保持了稳定性能，与NNMF和GCMC等归纳模型相比，RMSE下降幅度显著更小。
• 具有更多历史评分的关键用户始终获得更高的累积注意力权重，表明其在引导归纳推理中的重要性。
• IDCF-NN与IDCF-GC在用户评分数量变化时表现出更平滑的性能退化，对低评分用户的表现优于归纳模型。
• IDCF具有合理的可扩展性，每轮训练时间约为GCMC的1倍，但避免了对新用户重新训练的需求。
• IDCF的端到端、数据驱动的结构学习使图构建与消息传递之间实现相互增强，从而提升了归纳泛化能力。