[论文解读] Text Sentiment Analysis and Classification Based on Bidirectional Gated Recurrent Units (GRUs) Model

Wei Xu, Jianlong Chen+2 more|arXiv (Cornell University)|Apr 26, 2024

Text and Document Classification Technologies被引用 4

一句话总结

本文提出了一种双向门控循环单元（Bi-GRU）模型用于文本情感分析，通过全面的预处理和序列建模，实现了94.8%的测试准确率、95.9%的精确率、99.1%的召回率和97.4%的F1分数，表明在六标签情感数据集上具有出色的泛化能力和分类性能。

ABSTRACT

This paper explores the importance of text sentiment analysis and classification in the field of natural language processing, and proposes a new approach to sentiment analysis and classification based on the bidirectional gated recurrent units (GRUs) model. The study firstly analyses the word cloud model of the text with six sentiment labels, and then carries out data preprocessing, including the steps of removing special symbols, punctuation marks, numbers, stop words and non-alphabetic parts. Subsequently, the data set is divided into training set and test set, and through model training and testing, it is found that the accuracy of the validation set is increased from 85% to 93% with training, which is an increase of 8%; at the same time, the loss value of the validation set decreases from 0.7 to 0.1 and tends to be stable, and the model is gradually close to the actual value, which can effectively classify the text emotions. The confusion matrix shows that the accuracy of the model on the test set reaches 94.8%, the precision is 95.9%, the recall is 99.1%, and the F1 score is 97.4%, which proves that the model has good generalisation ability and classification effect. Overall, the study demonstrated an effective method for text sentiment analysis and classification with satisfactory results.

研究动机与目标

• 通过自然语言处理中的深度学习架构提升文本情感分类的准确率。
• 解决使用循环网络捕捉文本中顺序性和上下文情感依赖关系的挑战。
• 评估双向GRU在建模长距离依赖关系和情感极性方面的有效性。
• 通过严格的验证和测试集评估，展示模型的泛化能力。
• 为现实世界NLP应用中的多标签情感分类提供一种实用且高性能的解决方案。

提出的方法

• 所提出的模型使用双向门控循环单元（Bi-GRUs）捕捉文本序列正向和反向的上下文依赖关系。
• 文本预处理包括去除特殊字符、标点符号、数字、停用词以及非字母标记，以清理输入数据。
• 将数据集划分为训练集和测试集，以支持模型评估并防止数据泄露。
• 通过早停法和验证监控进行模型训练，损失和准确率在各训练周期内实现收敛。
• 使用标准NLP指标（准确率、精确率、召回率和F1分数）在测试集上对模型进行评估。
• 使用混淆矩阵分析各类别的性能，并验证模型的鲁棒性。

实验结果

研究问题

• RQ1 双向GRU模型能否有效捕捉文本中用于多标签分类的顺序情感模式？
• RQ2 所提出的预处理流程在情感分析任务中对模型性能有何影响？
• RQ3 与基线模型相比，Bi-GRU模型在准确率和泛化能力方面提升了多少？
• RQ4 模型在各个情感类别上的表现如何，具体体现为精确率、召回率和F1分数？
• RQ5 训练过程在各训练周期内的验证损失和准确率方面是否稳定且收敛？

主要发现

• 模型的验证准确率在训练周期内从85%提升至93%，表明其具备强大的学习能力。
• 验证损失从0.7下降至0.1并趋于稳定，表明模型实现了有效收敛且过拟合现象减少。
• 在测试集上，模型实现了94.8%的准确率、95.9%的精确率、99.1%的召回率和97.4%的F1分数，表现优异。
• 高召回率（99.1%）表明模型对正向情感样本的检测能力极强，误检为负样本的情况极少。
• 97.4%的F1分数证实了精确率与召回率之间达到了良好的平衡，表明分类性能稳健。
• 混淆矩阵显示模型在全部六个情感类别上均表现出一致的性能，支持其泛化能力。