[论文解读] Review Helpfulness Assessment based on Convolutional Neural Network

Xianshan Qu, Xiaopeng Li+1 more|arXiv (Cornell University)|Aug 27, 2018

Sentiment Analysis and Opinion Mining参考文献 12被引用 15

一句话总结

本文提出一种卷积神经网络（CNN）模型，用于自动评估在线产品评论的有用性，整合了评论文本和评分星级信息。通过将评分星级作为初始输入输入CNN，该方法相比仅使用文本的模型将预测准确率提高了2%，在基准数据集上相比先前发表的工作实现了4.24%的准确率提升，达到当前最先进水平。

ABSTRACT

In this paper we describe the implementation of a convolutional neural network (CNN) used to assess online review helpfulness. To our knowledge, this is the first use of this architecture to address this problem. We explore the impact of two related factors impacting CNN performance: different word embedding initializations and different input review lengths. We also propose an approach to combining rating star information with review text to further improve prediction accuracy. We demonstrate that this can improve the overall accuracy by 2%. Finally, we evaluate the method on a benchmark dataset and show an improvement in accuracy relative to published results for traditional methods of 2.5% for a model trained using only review text and 4.24% for a model trained on a combination of rating star information and review text.

研究动机与目标

• 开发一种深度学习方法，用于自动评估在线产品评论的有用性。
• 研究词嵌入初始化方式和输入评论长度对CNN在有用性评估中性能的影响。
• 探索将评分星级信息与评论文本协同整合，以提升预测准确率。
• 在大型和小型基准数据集上评估所提模型，并与已发表结果进行性能对比。

提出的方法

• 实现一种CNN架构，包含卷积层和池化层，以从评论文本中提取局部特征。
• 提出两种将评分星级信息与文本结合的方法：CM1（在特征提取后添加星级）和CM2（在输入层拼接星级）。
• 词嵌入采用随机初始化或使用预训练的GloVe向量，以评估其对模型性能的影响。
• 在大规模数据集上训练模型以调整超参数，随后在小型基准数据集上通过五折交叉验证进行微调。
• 通过截断输入至前300个词来控制评论长度，以在准确率与训练速度之间取得平衡。
• 使用二元有用性分类的准确率评估模型性能，并与先前最先进方法进行比较。

实验结果

研究问题

• RQ1 词嵌入初始化方式（随机初始化 vs. 预训练GloVe）对CNN在评论有用性评估中的性能有何影响？
• RQ2 在保持准确率的同时，提升训练效率的最优输入评论长度是多少？
• RQ3 将评分星级信息与评论文本结合是否能提升有用性预测的准确率？
• RQ4 将评分星级信息在早期输入（CM2）还是后期融合（CM1）能获得更好的性能？
• RQ5 所提出的CNN模型在基准数据集上与先前最先进方法相比表现如何？

主要发现

• 随机初始化的词嵌入性能与预训练GloVe嵌入相当，表明在评论数据上进行微调可能已足够。
• 将评论截断为前300个词，可在保持与完整评论长度相同准确率的同时，将训练时间减少四倍。
• 与仅使用文本的模型相比，整合评分星级信息使模型准确率提升了2%。
• CM2方法——在输入层拼接评分星级——实现了2.14%的准确率增益，优于CM1的0.23%增益，表明早期整合能更好地保留评分信息的影响。
• 在小型基准数据集上，仅使用文本的模型准确率为74.4%，结合文本与评分后达到76.14%，超过先前最佳结果71.9%。
• 总体方法相比仅使用文本的模型准确率提升2.5%，相比已发表的综合模型结果提升4.24%，展现出最先进性能。