[论文解读] Neural Collaborative Filtering

Xiangnan He, Lizi Liao+4 more|arXiv (Cornell University)|Aug 16, 2017

Recommender Systems and Techniques参考文献 34被引用 221

一句话总结

本论文提出神经协同过滤（NCF），一种基于神经网络的框架，用于对隐式反馈进行用户–物品交互建模，将矩阵分解与深度学习进行统一与扩展。结果表明 GMF、MLP 和 NeuMF 提升真实数据集上的推荐准确性。

ABSTRACT

In recent years, deep neural networks have yielded immense success on speech recognition, computer vision and natural language processing. However, the exploration of deep neural networks on recommender systems has received relatively less scrutiny. In this work, we strive to develop techniques based on neural networks to tackle the key problem in recommendation -- collaborative filtering -- on the basis of implicit feedback. Although some recent work has employed deep learning for recommendation, they primarily used it to model auxiliary information, such as textual descriptions of items and acoustic features of musics. When it comes to model the key factor in collaborative filtering -- the interaction between user and item features, they still resorted to matrix factorization and applied an inner product on the latent features of users and items. By replacing the inner product with a neural architecture that can learn an arbitrary function from data, we present a general framework named NCF, short for Neural network-based Collaborative Filtering. NCF is generic and can express and generalize matrix factorization under its framework. To supercharge NCF modelling with non-linearities, we propose to leverage a multi-layer perceptron to learn the user-item interaction function. Extensive experiments on two real-world datasets show significant improvements of our proposed NCF framework over the state-of-the-art methods. Empirical evidence shows that using deeper layers of neural networks offers better recommendation performance.

研究动机与目标

• 动机：在具有隐式反馈的协作过滤中，使用深度神经网络来建模用户–物品交互函数。
• 提出一个通用的神经协同过滤（NCF）框架，使矩阵分解具有更广泛的涵盖性。
• 用 GMF 和 MLP 实例化 NCF，并提出 NeuMF 将两者融合。
• 在真实世界数据集（MovieLens 和 Pinterest）上展示经验增益。
• 分析网络深度和预训练对性能的影响。

提出的方法

• 将用户和物品输入定义为一热特征，并映射到嵌入向量。
• 用神经网络建模交互函数 f（GMF 作为线性核，MLP 作为非线性核，NeuMF 将两者融合）。
• 使用隐式反馈的概率/逻辑损失进行训练（二元交叉熵）并进行负采样。
• 通过从预训练的 GMF 和 MLP 组件初始化，为 NeuMF 提供一个预训练策略。
• 在两个数据集上与基线的基于MF的方法和推荐方法进行比较。

实验结果

研究问题

• RQ1 神经网络是否能够捕捉超出 MF 内积的复杂用户–物品交互，适用于隐式反馈？
• RQ2 更深的网络是否提升推荐性能，GMF、MLP 和 NeuMF 的比较如何？
• RQ3 从 GMF 和 MLP 对 NeuMF 进行预训练是否改善优化和结果？
• RQ4 NCF 变体在真实数据集上的表现相对于最先进的基线如何？

主要发现

表1：数据集统计	表2：NeuMF 与预训练变体的性能（HR@10、NDCG@10）
MovieLens	1,000,209 interactions; 3,706 items; 6,040 users; 95.53% sparsity
Pinterest	1,500,809 interactions; 9,916 items; 55,187 users; 99.73% sparsity

• NeuMF 取得最佳性能，在两个数据集上显著超越 eALS 和 BPR 基线。
• GMF 和 MLP 单独都很强，NeuMF 受益于它们的融合。
• 对 NeuMF 进行预训练在各数据集上都提供稳定的增益，特别是在较高因子大小时。
• 在 top-10 推荐中（HR@10 与 NDCG@10），NeuMF 在 K=1..10 的所有情况下均优于基线。
• 更深的网络（更多预测因子）通常提升性能，但在某些情况下收益递减。