[论文解读] Sentiment Analysis on Bangla and Romanized Bangla Text (BRBT) using Deep Recurrent models

Ahmed H. Yousef, Mohammad Ruhul Amin+2 more|arXiv (Cornell University)|Oct 2, 2016

Sentiment Analysis and Opinion Mining参考文献 20被引用 40

一句话总结

本文提出了一套大规模、后处理且多轮验证的波恩戈语与罗马化波恩戈语文本数据集（BRBT），以支持稳健的情感分析。该研究评估了深度循环模型，特别是长短期记忆（LSTM）网络，采用二元交叉熵和分类交叉熵损失函数，通过交叉验证和迁移预训练获得良好结果，从而为未来波恩戈语自然语言处理研究建立可复用的基准。

ABSTRACT

Sentiment Analysis (SA) is an action research area in the digital age. With rapid and constant growth of online social media sites and services, and the increasing amount of textual data such as - statuses, comments, reviews etc. available in them, application of automatic SA is on the rise. However, most of the research works on SA in natural language processing (NLP) are based on English language. Despite being the sixth most widely spoken language in the world, Bangla still does not have a large and standard dataset. Because of this, recent research works in Bangla have failed to produce results that can be both comparable to works done by others and reusable as stepping stones for future researchers to progress in this field. Therefore, we first tried to provide a textual dataset - that includes not just Bangla, but Romanized Bangla texts as well, is substantial, post-processed and multiple validated, ready to be used in SA experiments. We tested this dataset in Deep Recurrent model, specifically, Long Short Term Memory (LSTM), using two types of loss functions - binary crossentropy and categorical crossentropy, and also did some experimental pre-training by using data from one validation to pre-train the other and vice versa. Lastly, we documented the results along with some analysis on them, which were promising.

研究动机与目标

• 为解决波恩戈语（一种超过2亿人使用的语言）情感分析领域缺乏标准化、大规模数据集的问题。
• 构建一个后处理、多轮验证的数据集，包含原生波恩戈语和罗马化波恩戈语文本，以提升自然语言处理模型的训练效果。
• 评估深度循环模型（特别是LSTM）在情感分类任务上的性能，使用多种损失函数进行训练与评估。
• 探索通过在一个验证集上进行预训练，以提升在另一验证集上的性能，从而增强模型泛化能力。
• 为未来波恩戈语情感分析研究提供可复用、可比较的基准。

提出的方法

• 作者构建了一个大规模、后处理且多轮验证的数据集，包含波恩戈语和罗马化波恩戈语文本，用于情感分析。
• 采用长短期记忆（LSTM）网络作为核心深度学习架构，用于序列建模和情感分类。
• 使用两种损失函数——二元交叉熵和分类交叉熵——对LSTM模型进行训练与评估。
• 研究实施了交叉验证，并采用实验性预训练策略，即利用一个折的数据对模型进行预训练，再在另一折上进行微调。
• 使用标准自然语言处理流程对模型进行训练与评估，包括分词、词嵌入和序列填充，以确保输入一致性。
• 通过标准分类指标衡量性能，并在不同数据划分和训练配置下对结果进行分析。

实验结果

研究问题

• RQ1 大规模、后处理且多轮验证的波恩戈语与罗马化波恩戈语文本数据集能否提升情感分析模型的可靠性与可复用性？
• RQ2 不同的损失函数（二元交叉熵与分类交叉熵）对基于LSTM的BRBT情感分类器性能有何影响？
• RQ3 在波恩戈语情感分析背景下，基于一个验证折进行预训练，能否显著提升在另一折上的性能？
• RQ4 在BRBT数据集的不同折之间进行迁移学习，能否增强模型的泛化能力与准确率？
• RQ5 使用深度循环模型进行情感分类时，波恩戈语与罗马化波恩戈语的性能表现有何差异？

主要发现

• 所提出的BRBT数据集规模大、经过后处理且多轮验证，适用于可靠的情感分析实验。
• 使用二元交叉熵和分类交叉熵损失函数训练的LSTM模型在BRBT数据集上表现出色。
• 在某一验证折上进行预训练，并在另一折上进行微调，显著提升了模型的准确率与泛化能力。
• 研究结果表明，罗马化波恩戈语文本可被有效用于深度循环模型的情感分析。
• 本研究建立了一个可复用的基准，为未来波恩戈语自然语言处理研究提供了可重现、可比较的结果基础。