[论文解读] Weighted-SVD: Matrix Factorization with Weights on the Latent Factors

Hung‐Hsuan Chen|arXiv (Cornell University)|Oct 2, 2017

Recommender Systems and Techniques参考文献 14被引用 15

一句话总结

本文提出 Weighted-SVD，一种矩阵分解模型，通过为 SVD 中的潜在因子分配可学习权重，使不同因子对评分预测的贡献不均等。通过将线性回归与 SVD 相结合，该模型在五个基准数据集上均优于 SVD、SVD++ 和 PMF，预测精度显著提升，且仅带来轻微的训练复杂度增加。

ABSTRACT

The Matrix Factorization models, sometimes called the latent factor models, are a family of methods in the recommender system research area to (1) generate the latent factors for the users and the items and (2) predict users' ratings on items based on their latent factors. However, current Matrix Factorization models presume that all the latent factors are equally weighted, which may not always be a reasonable assumption in practice. In this paper, we propose a new model, called Weighted-SVD, to integrate the linear regression model with the SVD model such that each latent factor accompanies with a corresponding weight parameter. This mechanism allows the latent factors have different weights to influence the final ratings. The complexity of the Weighted-SVD model is slightly larger than the SVD model but much smaller than the SVD++ model. We compared the Weighted-SVD model with several latent factor models on five public datasets based on the Root-Mean-Squared-Errors (RMSEs). The results show that the Weighted-SVD model outperforms the baseline methods in all the experimental datasets under almost all settings.

研究动机与目标

• 解决传统矩阵分解模型中假设所有潜在因子对用户评分的贡献相等的局限性。
• 通过引入可学习权重，使潜在因子具有不同的影响，从而提升推荐系统中的预测精度。
• 开发一种在保持低计算复杂度的同时，优于标准 SVD 和 SVD++ 的评分预测模型。
• 通过在训练过程中自动降低不重要因子的权重，实现自动的维度选择。

提出的方法

• 该模型通过为每个潜在因子引入可学习的权重向量，扩展了 SVD，修改了预测公式，使其包含潜在因子内积的加权贡献。
• 预测得分计算公式为：$\hat{r}_{ij} = \bar{r} + b_i^{(U)} + b_j^{(I)} + \sum_{d=1}^k w_d \cdot p_{i,d} q_{j,d} $，其中 $w_d$ 为每个潜在维度的可学习权重。
• 使用随机梯度下降（SGD）等优化技术进行训练，所有参数——用户偏置、物品偏置、潜在因子和权重——同时更新。
• 该方法的时间复杂度与训练数据规模呈线性关系，因此具有良好的可扩展性和效率。
• 该方法不仅适用于 SVD，还可推广至其他矩阵分解模型，如 SVD++ 和 PMF。
• 该模型在训练过程中可自动降低不重要潜在因子的权重，从而减少对潜在维度数量的手动超参数调优需求。

实验结果

研究问题

• RQ1 为潜在因子分配可学习权重是否能提升推荐系统中矩阵分解模型的预测性能？
• RQ2 所提出的 Weighted-SVD 模型在多种公开数据集上是否均优于 SVD、SVD++ 和 PMF？
• RQ3 与现有方法相比，引入加权潜在因子如何影响模型的训练时间和计算复杂度？
• RQ4 该模型是否能自动识别并抑制不相关的潜在因子，从而减少对潜在维度数量的手动调优？

主要发现

• Weighted-SVD 在所有五个基准数据集——MovieLens-100K、MovieLens-1M、MovieLens-10M、FilmTrust 和 Epinions——的所有测试设置中，均优于 SVD、SVD++ 和 PMF。
• 该模型的均方根误差（RMSE）低于所有基线模型，表明其在评分预测精度方面具有持续改进效果。
• Weighted-SVD 的训练时间仅比 SVD 略高，且随数据规模线性增长，表明其具有出色的可扩展性。
• 学习到的权重显示，最具影响力的潜在因子的影响力可比不那么重要的因子高数十倍甚至数百倍，验证了模型设计的有效性。
• 该模型减少了对潜在因子数量的手动超参数调优需求，因为不重要的维度在训练过程中会被自然地降低权重。
• 该方法具有通用性，可应用于其他矩阵分解模型，包括 SVD++ 和 PMF，表明其在推荐系统中具有广泛的应用前景。