[论文解读] Outer Product-based Neural Collaborative Filtering

Xiangnan He, Xiaoyu Du+4 more|arXiv (Cornell University)|Aug 12, 2018

Recommender Systems and Techniques参考文献 11被引用 55

一句话总结

ConvNCF 在用户/物品嵌入上引入外积交互映射，并使用 CNN 学习高阶相关性，在 Yelp 和 Gowalla 的隐式反馈数据上实现了最先进的 top-k 推荐。

ABSTRACT

In this work, we contribute a new multi-layer neural network architecture named ONCF to perform collaborative filtering. The idea is to use an outer product to explicitly model the pairwise correlations between the dimensions of the embedding space. In contrast to existing neural recommender models that combine user embedding and item embedding via a simple concatenation or element-wise product, our proposal of using outer product above the embedding layer results in a two-dimensional interaction map that is more expressive and semantically plausible. Above the interaction map obtained by outer product, we propose to employ a convolutional neural network to learn high-order correlations among embedding dimensions. Extensive experiments on two public implicit feedback data demonstrate the effectiveness of our proposed ONCF framework, in particular, the positive effect of using outer product to model the correlations between embedding dimensions in the low level of multi-layer neural recommender model. The experiment codes are available at: https://github.com/duxy-me/ConvNCF

研究动机与目标

• 激励一个神经协同过滤模型，明确建模嵌入维度之间的相关性。
• 提出一个外积交互映射，用于捕捉成对嵌入维度关系。
• 以可扩展的方式利用 CNN 学习来自交互映射的高阶相关性。
• 在隐式反馈数据集上展示相对于最新方法的实证收益。

提出的方法

• 用从 one-hot 编码输入中学习的特征嵌入来表示用户和物品。
• 将 E 计算为外积 p_u q_i^T，形成一个 KxK 的成对维度相关性矩阵。
• 对交互映射应用 CNN 以提取高阶相关信号。
• 通过 CNN 得到的特征经最终线性层预测 y_hat_ui，使用贝叶斯个性化排序（BPR）目标进行训练。
• 使用 MF 进行嵌入预训练，并在嵌入、CNN 层和输出层上应用 L2 正则化来微调 ConvNCF 模型。

实验结果

研究问题

• RQ1 ConvNCF 是否能在隐式反馈数据上超越最先进的推荐方法？
• RQ2 外积交互映射和基于 CNN 的层是否比传统的 MLP/GMF 方法更好地学习维度相关性？
• RQ3 卷积特征图的数量如何影响 ConvNCF 的性能？
• RQ4 与基于 MLP 的方法相比，ConvNCF 是否在此任务中更稳定且具有扩展性？

主要发现

• ConvNCF 通常在 Yelp 和 Gowalla 数据集上实现最佳的 Top-k 性能，相较基线。
• 将外积替换为拼接或逐元素乘积会降低性能，显示出建模维度相关性的好处。
• 基于 CNN 的 ConvNCF（ConvNCF）优于等价的 CNN-on-MLP（ONCF-mlp），表明局部连接设计的高效性和有效性。
• JRL（基于 MLP）始终不及 ConvNCF，强调显式的嵌入维度相关性的重要性。
• 每层的 CNN 特征图数量可以变化而不会造成显著的性能下降，表明 ConvNCF 架构具有良好的泛化能力。