[论文解读] Neural Tensor Factorization

Xian Wu, Baoxu Shi+3 more|arXiv (Cornell University)|Feb 13, 2018

Tensor decomposition and applications参考文献 37被引用 11

一句话总结

本文提出神经张量分解（NTF），一种深度学习模型，通过集成LSTM网络来捕捉用户-物品交互中的时间动态性，并利用多层感知机（MLP）建模潜在因子之间的非线性交互。NTF在动态关系数据上的评分预测和链接预测任务中显著优于当前最先进方法（如RRN和NCF）。

ABSTRACT

Neural collaborative filtering (NCF) and recurrent recommender systems (RRN) have been successful in modeling user-item relational data. However, they are also limited in their assumption of static or sequential modeling of relational data as they do not account for evolving users' preference over time as well as changes in the underlying factors that drive the change in user-item relationship over time. We address these limitations by proposing a Neural Tensor Factorization (NTF) model for predictive tasks on dynamic relational data. The NTF model generalizes conventional tensor factorization from two perspectives: First, it leverages the long short-term memory architecture to characterize the multi-dimensional temporal interactions on relational data. Second, it incorporates the multi-layer perceptron structure for learning the non-linearities between different latent factors. Our extensive experiments demonstrate the significant improvement in rating prediction and link prediction on dynamic relational data by our NTF model over both neural network based factorization models and other traditional methods.

研究动机与目标

• 解决静态模型和序列模型在捕捉关系数据中用户偏好演化和物品感知随时间变化方面的局限性。
• 克服传统张量分解中对时间的静态假设，后者假设连续时间片之间相互独立。
• 通过建模评分之间的时间间隔而非固定长度序列，超越循环推荐网络（RRN）。
• 用非线性MLP替代传统分解中的线性点积，以更好地捕捉潜在因子之间的复杂交互。
• 构建一个通用框架，充分利用包括时间在内的多维关系数据，用于推荐系统中的预测建模。

提出的方法

• 将动态用户-物品交互表示为三阶张量（用户、物品、时间），以编码时间演化过程。
• 使用LSTM网络通过处理前一时间步学习到的潜在嵌入，建模时间片之间的序列依赖性。
• 将张量分解中的标准点积替换为多层感知机（MLP），该MLP以拼接后的潜在因子作为输入，用于建模非线性交互。
• 使用反向传播端到端训练模型，以优化评分预测和链接预测目标。
• 在潜在因子上引入时间平滑性约束，以确保其随时间的渐进演化。
• 使用用户和物品嵌入层初始化潜在表示，再将其输入LSTM和MLP组件。

实验结果

研究问题

• RQ1 基于深度学习的张量分解模型能否有效捕捉动态关系数据中随时间演化的用户偏好和物品感知？
• RQ2 在张量分解中用非线性MLP替代线性点积，是否能提升评分预测和链接预测任务的预测性能？
• RQ3 NTF模型在处理时间动态性和序列可变性方面，与当前最先进模型（如RRN和NCF）相比表现如何？
• RQ4 将LSTM与张量分解结合，在建模用户-物品交互中的序列依赖性方面，其增强效果如何？
• RQ5 所提出的模型能否在不同类型动态关系数据（如评分预测和链接预测任务）上实现良好泛化？

主要发现

• 在Netflix数据集上，NTF在评分预测任务中显著优于NCF和RRN，证明其在动态用户-物品交互建模中的优越性能。
• 在Github数据集上，NTF在链接预测任务中优于现有基线模型，表明其在建模动态关系模式演化方面的有效性。
• 消融实验表明，用MLP替代点积可带来可测量的性能提升，验证了建模非线性交互的必要性。
• 使用LSTM处理有序时间序列的潜在表示，相比RRN等固定序列方法，能更优地建模时间依赖性。
• 当使用点积而非MLP时，模型性能表现欠佳，证实线性交互不足以捕捉复杂的关系动态。
• NTF通过在潜在空间中学习平滑的时间轨迹，有效捕捉了用户偏好的演化和物品感知的变化，例如因获奖或趋势转变引起的变化。