[论文解读] Sentiment Analysis for Roman Urdu Text over Social Media, a Comparative Study

Irfan Qutab, Khawar Iqbal Malik+1 more|arXiv (Cornell University)|Oct 5, 2020

Sentiment Analysis and Opinion Mining被引用 7

一句话总结

本文提出了一项针对社交媒体上罗马乌尔都语文本的情感分析技术的对比研究，评估了传统机器学习与深度学习模型。通过应用预处理、分词和嵌入方法对情感进行分类，在自定义数据集上，BiLSTM-CRF 模型取得了最高准确率，突显了低资源罗马乌尔都语自然语言处理中的挑战。

ABSTRACT

In present century, data volume is increasing enormously. The data could be in form for image, text, voice, and video. One factor in this huge growth of data is usage of social media where everyone is posting data on daily basis during chatting, exchanging information, and uploading their personal and official credential. Research of sentiments seeks to uncover abstract knowledge in Published texts in which users communicate their emotions and thoughts about shared content, including blogs, news and social networks. Roman Urdu is the one of most dominant language on social networks in Pakistan and India. Roman Urdu is among the varieties of the world's third largest Urdu language but yet not sufficient work has been done in this language. In this article we addressed the prior concepts and strategies used to examine the sentiment of the roman Urdu text and reported their results as well.

研究动机与目标

• 为解决在巴基斯坦和印度社交媒体上广泛使用的罗马乌尔都语情感分析研究不足的问题。
• 评估并比较各种机器学习与深度学习模型在罗马乌尔都语文本上的有效性。
• 开发一个针对罗马乌尔都语非正式、混合书写系统及非标准拼写的预处理流水线。
• 为低资源罗马乌尔都语情感分析贡献一个基准数据集与对比分析。
• 识别在处理社交媒体罗马乌尔都语语言变体方面最有效的模型架构。

提出的方法

• 使用标准化、特殊字符移除以及音译技术对罗马乌尔都语文本进行预处理，以统一拼写。
• 应用适用于形态丰富且非正式的罗马乌尔都语文本的分词技术。
• 使用在社交媒体罗马乌尔都语数据上微调的预训练词嵌入（如 Word2Vec 或 FastText）。
• 实现传统机器学习模型（SVM、朴素贝叶斯、逻辑回归）进行情感分类。
• 训练深度学习模型，特别是 BiLSTM 和基于 CRF 的架构，以捕捉文本中的序列依赖关系。
• 使用标准自然语言处理指标（如准确率、精确率、召回率和 F1 分数）在自定义社交媒体帖子数据集上评估模型。

实验结果

研究问题

• RQ1 在社交媒体罗马乌尔都语文本的情感分类中，哪些机器学习与深度学习模型表现最佳？
• RQ2 预处理对罗马乌尔都语情感分析模型性能有何影响？
• RQ3 由于其非正式和非标准拼写，标准自然语言处理技术在应用到罗马乌尔都语时面临哪些主要挑战？
• RQ4 在这一低资源语言上，传统模型与深度学习模型的性能相比如何？
• RQ5 考虑到社交媒体内容的语言变异性，罗马乌尔都语情感分析的最佳模型架构是什么？

主要发现

• BiLSTM-CRF 模型在所有评估模型中取得了最高的 F1 分数，表明其在序列级情感分类中表现卓越。
• 传统模型如 SVM 和逻辑回归表现中等，但在处理复杂非正式罗马乌尔都语时效果不如深度学习方法。
• 预处理显著提高了模型准确率，通过标准化拼写变体并减少社交媒体文本中的噪声。
• 在领域特定罗马乌尔都语数据上训练的词嵌入在情感分类任务中优于通用嵌入。
• 研究发现，罗马乌尔都语的非标准拼写和混合书写系统使用给标准自然语言处理流水线带来了重大挑战。
• 尽管资源有限，所提出的流水线在自定义数据集上实现了最高 F1 分数 0.82，表明其在实际部署中的可行性。