[论文解读] VBPR: Visual Bayesian Personalized Ranking from Implicit Feedback

Ruining He, Julian McAuley|arXiv (Cornell University)|Oct 6, 2015

Image Retrieval and Classification Techniques参考文献 26被引用 70

一句话总结

本文提出VBPR，一种可扩展的矩阵分解模型，将产品图像的视觉特征整合到隐式反馈的贝叶斯个性化排序中。通过利用预训练的CNN特征学习视觉维度，VBPR显著提升了个性化排序的准确性，尤其在冷启动项目上，相较于最先进方法在真实数据集上的表现，冷启动项目性能提升超过28%。

ABSTRACT

Modern recommender systems model people and items by discovering or `teasing apart' the underlying dimensions that encode the properties of items and users' preferences toward them. Critically, such dimensions are uncovered based on user feedback, often in implicit form (such as purchase histories, browsing logs, etc.); in addition, some recommender systems make use of side information, such as product attributes, temporal information, or review text. However one important feature that is typically ignored by existing personalized recommendation and ranking methods is the visual appearance of the items being considered. In this paper we propose a scalable factorization model to incorporate visual signals into predictors of people's opinions, which we apply to a selection of large, real-world datasets. We make use of visual features extracted from product images using (pre-trained) deep networks, on top of which we learn an additional layer that uncovers the visual dimensions that best explain the variation in people's feedback. This not only leads to significantly more accurate personalized ranking methods, but also helps to alleviate cold start issues, and qualitatively to analyze the visual dimensions that influence people's opinions.

研究动机与目标

• 通过整合产品图像中的视觉特征，解决推荐系统中的冷启动问题。
• 利用从图像嵌入中学习到的视觉维度来建模用户偏好，而非仅依赖隐式反馈。
• 开发一种可扩展的、可微分的方法，将矩阵分解与视觉信号相结合，以提升个性化排序性能。
• 分析影响用户偏好的视觉维度，提升推荐的可解释性。

提出的方法

• 该模型使用预训练的深度卷积神经网络（CNN）从产品图像中提取视觉特征。
• 在这些特征之上引入额外的层，以学习能够解释用户反馈的视觉潜在因子。
• 采用贝叶斯个性化排序（BPR）结合随机梯度上升来优化成对排序损失。
• 视觉与协同过滤因子通过统一的矩阵分解框架联合学习。
• 该模型在大规模隐式反馈数据上端到端训练，视觉特征作为因子分解过程的输入。
• 使用t-SNE可视化学习到的10维视觉空间，揭示了风格上的聚类。

实验结果

研究问题

• RQ1 从产品图像中提取的视觉特征是否能提升隐式反馈数据上的个性化排序性能？
• RQ2 学习到的视觉空间能否揭示与用户偏好一致的有意义的视觉维度？
• RQ3 整合视觉信号是否能减少推荐系统中的冷启动问题？
• RQ4 视觉感知模型的性能与传统矩阵分解和基于内容的基线方法相比如何？

主要发现

• 与BPR-MF相比，VBPR在所有项目上的AUC提升超过12%，在冷启动项目上提升超过28%，证明了视觉特征的显著增益。
• 在Tradesy.com数据集上（由于一次性交易而本质上属于冷启动），VBPR表现出特别大的性能提升，证实了其在稀疏场景下的有效性。
• 该模型优于基于MF和基于内容的基线方法，在所有项目上比WRMF平均提升14.3%的AUC，在冷启动项目上提升20.3%。
• 视觉特征对服装类商品的增益大于对手机类商品，表明视觉因素在时尚相关选择中更具影响力。
• 学习到的10维视觉空间的t-SNE可视化揭示了子类别间的有意义聚类，表明模型学习到了语义相关的视觉维度。
• VBPR对因子数量的增加具有鲁棒性，随着因子数量的增加，性能持续提升，表明其具备强大的泛化能力且过拟合程度较低。