[论文解读] TransRev: Modeling Reviews as Translations from Users to Items

Alberto García-Durán, Roberto González+3 more|arXiv (Cornell University)|Jan 30, 2018

Sentiment Analysis and Opinion Mining参考文献 27被引用 19

一句话总结

TransRev 提出了一种联合学习框架，将产品评论建模为共享向量空间中从用户嵌入到物品嵌入的翻译。通过在推理时近似评论嵌入为物品嵌入与用户嵌入的差值，该方法实现了准确的评分预测和评论检索，在19个基准数据集中的15个上超越了最先进方法。

ABSTRACT

The text of a review expresses the sentiment a customer has towards a particular product. This is exploited in sentiment analysis where machine learning models are used to predict the review score from the text of the review. Furthermore, the products costumers have purchased in the past are indicative of the products they will purchase in the future. This is what recommender systems exploit by learning models from purchase information to predict the items a customer might be interested in. We propose TransRev, an approach to the product recommendation problem that integrates ideas from recommender systems, sentiment analysis, and multi-relational learning into a joint learning objective. TransRev learns vector representations for users, items, and reviews. The embedding of a review is learned such that (a) it performs well as input feature of a regression model for sentiment prediction; and (b) it always translates the reviewer embedding to the embedding of the reviewed items. This allows TransRev to approximate a review embedding at test time as the difference of the embedding of each item and the user embedding. The approximated review embedding is then used with the regression model to predict the review score for each item. TransRev outperforms state of the art recommender systems on a large number of benchmark data sets. Moreover, it is able to retrieve, for each user and item, the review text from the training set whose embedding is most similar to the approximated review embedding.

研究动机与目标

• 将推荐系统、情感分析与多关系学习整合到统一的框架中，以实现产品推荐。
• 学习联合的用户、物品与评论嵌入，以支持评分预测与评论检索。
• 通过在测试时间近似评论嵌入，实现对未见用户-物品对的评分预测。
• 通过基于学习到的嵌入检索语义相似的训练评论，降低用户撰写评论的门槛。

提出的方法

• TransRev 使用联合目标函数，在共享潜在空间中学习用户、物品与评论嵌入。
• 该模型强制要求用户的嵌入与评论的嵌入之和近似于被评论物品的嵌入（即：评论作为翻译：用户 + 评论 ≈ 物品）。
• 评论嵌入经过训练，以在下游情感回归模型中实现良好的评分预测性能。
• 在测试时间，评论嵌入被近似为物品嵌入与用户嵌入的差值：ĥ_rev = h_item - h_user。
• 近似后的评论嵌入被用作回归模型的输入，以预测评论得分。
• 通过计算近似评论嵌入与所有训练评论嵌入之间的欧氏距离，执行评论检索。

实验结果

研究问题

• RQ1 统一的嵌入空间能否联合建模用户偏好、物品特征与产品评论中的情感？
• RQ2 通过用户-物品差异近似评论嵌入，是否能相比现有方法提升评分预测性能？
• RQ3 学习到的评论嵌入能否检索出语义上相似的训练评论，从而对用户评论建议有所帮助？
• RQ4 学习到的词嵌入在多大程度上能捕捉与评论得分相关的感情极性？

主要发现

• 在19个基准数据集中的15个上，TransRev 在评分预测准确率方面优于最先进推荐系统。
• 该模型成功学习了与情感相关的词嵌入，如 t-SNE 可视化所示，词语聚类对应于负面、中性和正面情感。
• 近似后的评论嵌入能够有效检索出语义上相似的训练评论，检索到的评论通常与目标评论的整体情感一致。
• 尽管模型表现良好，但在处理情感细微差别（如否定，例如 'not good'）和方面特定语言方面仍存在局限，表明其在建模词序和方面感知表示方面存在不足。