[论文解读] Neural Network Matrix Factorization

Gintare Karolina Dziugaite, Daniel M. Roy|arXiv (Cornell University)|Nov 19, 2015

Neural Networks and Applications参考文献 15被引用 144

一句话总结

该论文提出神经网络矩阵分解（NNMF），一种用可学习的多层前馈神经网络替代传统矩阵分解中固定内积的模型，以建模用户-物品交互。NNMF在基准协同过滤数据集上优于标准的低秩方法（如PMF和BiasedMF），但逊于图感知模型，表明在架构设计和训练方面仍有巨大潜力可挖。

ABSTRACT

Data often comes in the form of an array or matrix. Matrix factorization techniques attempt to recover missing or corrupted entries by assuming that the matrix can be written as the product of two low-rank matrices. In other words, matrix factorization approximates the entries of the matrix by a simple, fixed function---namely, the inner product---acting on the latent feature vectors for the corresponding row and column. Here we consider replacing the inner product by an arbitrary function that we learn from the data at the same time as we learn the latent feature vectors. In particular, we replace the inner product by a multi-layer feed-forward neural network, and learn by alternating between optimizing the network for fixed latent features, and optimizing the latent features for a fixed network. The resulting approach---which we call neural network matrix factorization or NNMF, for short---dominates standard low-rank techniques on a suite of benchmark but is dominated by some recent proposals that take advantage of the graph features. Given the vast range of architectures, activation functions, regularizers, and optimization techniques that could be used within the NNMF framework, it seems likely the true potential of the approach has yet to be reached.

研究动机与目标

• 通过用可学习的神经网络函数替代传统低秩矩阵分解中的固定内积，以实现性能提升。
• 探究通过神经网络学习非线性函数是否能提升在稀疏关系数据（如用户-物品评分）中的预测性能。
• 探索将潜在特征学习与端到端神经网络优化以联合、交替方式进行的潜力。
• 评估NNMF相对于SOTA模型（如NTN、AutoRec和LLORMA）在标准协同过滤基准上的可扩展性与性能表现。

提出的方法

• 将标准矩阵分解中的内积 $ U_n^T V_m $ 替换为多层前馈神经网络 $ f_\theta(U_n \circ V_m) $，其中 $ \circ $ 表示逐元素乘法。
• 通过交替梯度下降法优化神经网络参数 $ \theta $ 与潜在特征向量 $ U_n, V_m $：固定特征以训练网络，随后固定网络以更新特征。
• 对潜在特征向量应用 $ \ell_2 $ 正则化，并通过验证集性能调优正则化参数 $ \lambda $。
• 在输出层使用Sigmoid非线性激活函数，将预测值限制在 $[0,1]$ 范围内，以与MovieLens等数据集的评分尺度保持一致。
• 对大规模数据集（如ML-1M）使用标准随机梯度下降与小批量训练，以应对内存限制。
• 使用测试集上的RMSE评估模型性能，与PMF、BiasedMF、NTN、RFM、LLORMA和AutoRec进行比较，采用一致的超参数与交叉验证策略。

实验结果

研究问题

• RQ1 通过神经网络学习一个可学习的非线性函数，是否能提升协同过滤中传统矩阵分解固定内积的预测性能？
• RQ2 在标准基准数据集上，NNMF与PMF、BiasedMF和NTN等成熟模型相比，其RMSE表现如何？
• RQ3 更深的网络架构（如4层网络）是否能提升性能？深度、宽度与泛化能力之间的权衡如何？
• RQ4 在当前结果基础上，架构选择、激活函数与正则化策略在多大程度上可进一步提升NNMF的性能？
• RQ5 类似于PMF的局部版本（如LLORMA），NNMF的局部变体是否能在稀疏、高维场景下超越全局模型？

主要发现

• 在MovieLens和Protein数据集上，NNMF在潜在特征模型中达到SOTA性能，优于PMF、BiasedMF和RFM。
• 在ML-100K数据集上，NNMF的RMSE为0.875，显著低于PMF的0.901和BiasedMF的0.894。
• NNMF优于NTN模型，尽管NTN参数量约为NNMF的20倍（180,000 vs. ~9,000），表明参数效率与架构设计比模型容量更为关键。
• 4隐藏层、每层20个神经元、$ (D, D') = (10, 80) $ 的NNMF变体性能优于浅层或更宽的配置，但若缺乏仔细初始化与正则化，更深网络可能趋于饱和或过拟合。
• 在NNMF中加入偏差校正项可使性能提升约0.003 RMSE，但该提升较小且在不同数据集上不够稳定。
• 尽管表现强劲，NNMF仍被AutoRec等图感知模型以及LLORMA的局部版本所超越，表明在协同过滤中引入局部结构信息仍是显著优势。