[论文解读] Predicting Helpfulness of Online Reviews

Abdalraheem Alsmadi, Shadi AlZu’bi+2 more|arXiv (Cornell University)|Aug 23, 2020

Sentiment Analysis and Opinion Mining参考文献 21被引用 4

一句话总结

本文提出了一种多方法机器学习框架，利用监督学习、半监督学习和预训练深度学习模型，在亚马逊评论数据上预测在线产品评论的有用性。结果表明，采用FastText词嵌入并微调BERT/RoBERTa模型的半监督RCNN显著优于传统分类器，其中半监督RCNN的整体准确率达到88.75%——比监督RCNN高出6%；而BERT的准确率为86.16%。

ABSTRACT

E-commerce dominates a large part of the world's economy with many websites dedicated to online selling products. The vast majority of e-commerce websites provide their customers with the ability to express their opinions about the products/services they purchase. These feedback in the form of reviews represent a rich source of information about the users' experiences and level of satisfaction, which is of great benefit to both the producer and the consumer. However, not all of these reviews are helpful/useful. The traditional way of determining the helpfulness of a review is through the feedback from human users. However, such a method does not necessarily cover all reviews. Moreover, it has many issues like bias, high cost, etc. Thus, there is a need to automate this process. This paper presents a set of machine learning (ML) models to predict the helpfulness online reviews. Mainly, three approaches are used: a supervised learning approach (using ML as well as deep learning (DL) models), a semi-supervised approach (that combines DL models with word embeddings), and pre-trained word embedding models that uses transfer learning (TL). The latter two approaches are among the unique aspects of this paper as they follow the recent trend of utilizing unlabeled text. The results show that the proposed DL approaches have superiority over the traditional existing ones. Moreover, the semi-supervised has a remarkable performance compared with the other ones.

研究动机与目标

• 自动化预测在线产品评论的有用性，减少对昂贵且存在偏见的人工投票的依赖。
• 通过整合半监督学习技术，解决未标记评论数据的低利用率问题。
• 评估预训练语言模型（如BERT和RoBERTa）在提升分类准确率方面的有效性。
• 在标准化的亚马逊评论数据集上，比较传统机器学习模型、深度学习架构和迁移学习方法的性能。
• 为电商平台提供一种可扩展、高准确率的解决方案，以向消费者呈现最有用的评论。

提出的方法

• 在标记的亚马逊评论数据上，使用多种分类器（FastText、SVM、Bi-LSTM、CNN和RCNN）训练监督学习流程。
• 实现了一种半监督RCNN模型，利用90,000条标记数据和490,000条大规模未标记数据，以提升泛化能力。
• 在半监督设置中，采用跳字（skip-gram）架构的FastText词嵌入，以增强特征表示。
• 使用迁移学习在相同亚马逊评论数据集上对预训练的Transformer模型BERT和RoBERTa进行微调，实现端到端分类。
• 使用准确率作为主要指标，在四个产品类别（图书、电子产品、CD与唱片、电影与电视）中评估所有模型。
• 在BERT训练中应用数据增强和动态掩码，以提升上下文表征能力和鲁棒性。

实验结果

研究问题

• RQ1 深度学习模型（如RCNN）是否在预测评论有用性方面优于传统机器学习分类器？
• RQ2 通过半监督学习整合大规模未标记数据，是否能提升评论有用性预测模型的性能？
• RQ3 与微调后的RCNN及其他分类器相比，预训练语言模型（如BERT和RoBERTa）在多大程度上提升了预测准确率？
• RQ4 半监督RCNN在不同产品类别中的性能与监督版本相比如何？
• RQ5 使用BERT和RoBERTa进行迁移学习，是否能在亚马逊评论有用性预测任务上达到最先进水平？

主要发现

• 监督RCNN在传统分类器中表现最佳，整体准确率达到83.25%，优于FastText（75.9%）、SVM（75.5%）、Bi-LSTM（79.12%）和CNN（82%）。
• 半监督RCNN在所有类别中均比监督RCNN提升5–6个百分点，整体准确率达到88.75%。
• 采用FastText嵌入的半监督RCNN在图书类别中达到87%准确率，电子产品为86%，CD与唱片为92%，电影与电视为90%，显著优于监督版本。
• 预训练模型BERT和RoBERTa的整体准确率分别为86.16%和84.12%，优于所有监督模型（包括RCNN的83.25%），并在部分类别中超过半监督RCNN。
• BERT在图书类别中达到86.3%准确率，电子产品为85.16%，CD与唱片为87.7%，电影与电视为85.5%，展现出在多样化产品类型中的强大泛化能力。
• 结果证实，未标记数据和迁移学习显著提升了模型性能，半监督RCNN和BERT模型在此数据集上设定了新基准。