[论文解读] Nonlinear Inductive Matrix Completion based on One-layer Neural Networks

Kai Zhong, Zhao Song+2 more|arXiv (Cornell University)|May 26, 2018

Recommender Systems and Techniques参考文献 17被引用 3

一句话总结

该论文提出了一种基于单层神经网络与非线性激活函数（如Sigmoid、tanh）的非线性归纳矩阵补全框架，以超越线性模型的推荐准确率。研究证明，当初始化靠近真实参数时，梯度下降能收敛至全局最优解，得益于该邻域内的强凸性，并在推荐与聚类任务中表现出优于线性IMC的性能。

ABSTRACT

The goal of a recommendation system is to predict the interest of a user in a given item by exploiting the existing set of ratings as well as certain user/item features. A standard approach to modeling this problem is Inductive Matrix Completion where the predicted rating is modeled as an inner product of the user and the item features projected onto a latent space. In order to learn the parameters effectively from a small number of observed ratings, the latent space is constrained to be low-dimensional which implies that the parameter matrix is constrained to be low-rank. However, such bilinear modeling of the ratings can be limiting in practice and non-linear prediction functions can lead to significant improvements. A natural approach to introducing non-linearity in the prediction function is to apply a non-linear activation function on top of the projected user/item features. Imposition of non-linearities further complicates an already challenging problem that has two sources of non-convexity: a) low-rank structure of the parameter matrix, and b) non-linear activation function. We show that one can still solve the non-linear Inductive Matrix Completion problem using gradient descent type methods as long as the solution is initialized well. That is, close to the optima, the optimization function is strongly convex and hence admits standard optimization techniques, at least for certain activation functions, such as Sigmoid and tanh. We also highlight the importance of the activation function and show how ReLU can behave significantly differently than say a sigmoid function. Finally, we apply our proposed technique to recommendation systems and semi-supervised clustering, and show that our method can lead to much better performance than standard linear Inductive Matrix Completion methods.

研究动机与目标

• 为解决线性归纳矩阵补全（IMC）在建模复杂用户-物品关系方面的局限性。
• 通过使用带非线性激活函数的单层神经网络，开发IMC的非线性扩展，以更好地捕捉用户与物品特征中的非线性模式。
• 通过证明最优解邻域内的强凸性，为非凸、非线性设置下的优化收敛性提供理论保证。
• 通过实证验证该方法在推荐与半监督聚类任务中相对于线性IMC的优越性。

提出的方法

• 将非线性归纳矩阵补全（NIMC）建模为使用非线性映射的预测函数：A(x,y) = ⟨ϕ(Uᵀx), ϕ(Vᵀy)⟩，其中ϕ为非线性激活函数。
• 采用梯度下降进行参数优化，并通过理论分析证明：当初始化足够接近真实参数时，模型可实现收敛。
• 利用矩阵集中不等式以及激活函数（如Sigmoid、tanh）的Lipschitz连续性，对Hessian与梯度项的估计误差进行有界控制。
• 分析损失函数的Hessian矩阵，并证明在某些激活函数下，最优解邻域内损失函数具有强凸性。
• 对比ReLU与Sigmoid/tanh，强调由于ReLU的非负性约束，其在行为与收敛特性上存在差异。
• 采用基于数据的采样模型，利用观测到的用户-物品评分对Ω进行训练，从而在数据有限的情况下高效训练模型。

实验结果

研究问题

• RQ1 基于单层神经网络的归纳矩阵补全模型是否能通过引入非线性，实现比线性IMC更高的推荐准确率？
• RQ2 在该非凸、非线性设置下，梯度下降在何种条件下能收敛至全局最优解？
• RQ3 不同激活函数（如ReLU与Sigmoid/tanh）如何影响优化行为与模型性能？
• RQ4 在该非线性框架下，优化过程的收敛性可提供哪些理论保证？
• RQ5 与线性IMC相比，该模型在真实世界推荐与半监督聚类任务中的表现如何？

主要发现

• 采用Sigmoid或tanh激活函数的NIMC模型在推荐与聚类任务中显著优于标准线性IMC。
• 当初始化靠近真实参数时，梯度下降能收敛至全局最优解，原因在于该区域损失函数具有强凸性。
• 理论分析表明，损失函数的Hessian矩阵在最优解附近条件良好，从而支持高效优化。
• ReLU-based模型因潜在空间的非负性约束而表现出不同行为，其效果取决于数据特性，可能具有优势或局限性。
• 该方法仅需少量观测评分，且参数量低，适用于数据稀缺场景。
• 实证结果证实，非线性模型在多个基准数据集的推荐与聚类任务中均显著优于线性IMC。