[论文解读] ParVecMF: A Paragraph Vector-based Matrix Factorization Recommender System

Georgios Alexandridis, Georgios Siolas+1 more|arXiv (Cornell University)|Jun 22, 2017

Topic Modeling参考文献 9被引用 8

一句话总结

本文提出 ParVecMF，一种混合推荐系统，通过将用户评论的 Paragraph Vector 嵌入与概率矩阵分解相结合，以增强协同过滤。通过将可变长度评论的神经嵌入融合到用户和物品潜在向量中，ParVecMF 在 MAP@N 和 MRR@N 等指标上均优于基于 SVD 的标准矩阵分解方法，表明用户生成的文本反馈可提升推荐准确率与排序质量。

ABSTRACT

Review-based recommender systems have gained noticeable ground in recent years. In addition to the rating scores, those systems are enriched with textual evaluations of items by the users. Neural language processing models, on the other hand, have already found application in recommender systems, mainly as a means of encoding user preference data, with the actual textual description of items serving only as side information. In this paper, a novel approach to incorporating the aforementioned models into the recommendation process is presented. Initially, a neural language processing model and more specifically the paragraph vector model is used to encode textual user reviews of variable length into feature vectors of fixed length. Subsequently this information is fused along with the rating scores in a probabilistic matrix factorization algorithm, based on maximum a-posteriori estimation. The resulting system, ParVecMF, is compared to a ratings' matrix factorization approach on a reference dataset. The obtained preliminary results on a set of two metrics are encouraging and may stimulate further research in this area.

研究动机与目标

• 通过在评分分数之外引入用户生成的文本评论，提升推荐系统中协同过滤的性能。
• 探究神经语言模型是否能比传统词袋方法更好地表示用户偏好。
• 在最大后验估计框架下，将评论的段落向量嵌入与矩阵分解相结合。
• 使用标准指标评估文本评论嵌入对推荐性能的影响。
• 证明通过神经嵌入捕捉的用户评论语义信息，可增强矩阵分解中的潜在表示。

提出的方法

• 使用 Paragraph Vector (PV-DM) 模型将用户评论编码为固定长度的稠密向量，该神经语言模型可学习可变长度文本的分布式表示。
• 在概率矩阵分解框架中，将所得的段落向量与从评分矩阵中学习到的用户和物品潜在因子进行融合。
• 通过最大后验估计（MAP）对融合表示进行优化，将评分数据与文本嵌入统一映射到潜在空间。
• 采用评分预测损失与段落向量重建损失的组合，端到端训练模型。
• 对比两种模型：含评论的 ParVecMF 与不含评论的标准 SVD 基线模型，在同一数据集上进行比较。
• 评估采用 5 折交叉验证，使用 MAP@N 和 MRR@N 作为指标，相关性定义为评分 ≥ 5 分中的 4 分。

实验结果

研究问题

• RQ1 用户评论的 Paragraph Vector 嵌入能否提升基于矩阵分解的推荐系统的性能？
• RQ2 在潜在因子学习中引入用户生成的文本反馈，是否能提升推荐的排序与准确率？
• RQ3 与仅使用评分的传统协同过滤相比，使用评论的神经嵌入有何差异？
• RQ4 随着潜在表示维度的提高，使用评论嵌入带来的性能增益是否会增强？
• RQ5 神经语言模型能否捕捉传统词袋方法所遗漏的评论中的上下文相似性？

主要发现

• 在所有测试的特征维度下，ParVecMF 在 MAP@N 和 MRR@N 指标上均持续优于基于标准 SVD 的矩阵分解方法。
• 随着潜在特征数量的增加，ParVecMF 与基线 SVD 模型之间的性能差距不断扩大，表明其具有更强的表征能力。
• 在所有特征数量下，ParVecMF 的平均平均精度（MAP@N）均显著且稳定地超过基线 SVD 模型。
• 均 reciproc rank（MRR@N）结果表明，ParVecMF 在推荐列表中将相关项目排得比基线模型更靠前。
• 结果表明，用户评论嵌入捕捉到了评分分数之外的有意义偏好信号，从而同时提升了排序与精度。
• 本研究提供了实证证据，表明用户评论的神经嵌入可增强协同过滤中的潜在表示。