[论文解读] Sentiment Analysis in Twitter for Macedonian

Dame Jovanoski, Veno Pachovski+1 more|arXiv (Cornell University)|Sep 27, 2021

Sentiment Analysis and Opinion Mining参考文献 33被引用 4

一句话总结

本论文提出了首个马其顿语推文情感分析系统，引入了一个由1,000条推文组成的手动标注语料库，标注了情感极性（正面、负面、中性）及短语级情感，同时构建了自举法生成的情感词典。通过结合预处理技术与基于词典的特征，该系统在F1得分上达到92.16，与SemEval竞赛中顶尖的英文结果相当。

ABSTRACT

We present work on sentiment analysis in Twitter for Macedonian. As this is pioneering work for this combination of language and genre, we created suitable resources for training and evaluating a system for sentiment analysis of Macedonian tweets. In particular, we developed a corpus of tweets annotated with tweet-level sentiment polarity (positive, negative, and neutral), as well as with phrase-level sentiment, which we made freely available for research purposes. We further bootstrapped several large-scale sentiment lexicons for Macedonian, motivated by previous work for English. The impact of several different pre-processing steps as well as of various features is shown in experiments that represent the first attempt to build a system for sentiment analysis in Twitter for the morphologically rich Macedonian language. Overall, our experimental results show an F1-score of 92.16, which is very strong and is on par with the best results for English, which were achieved in recent SemEval competitions.

研究动机与目标

• 为解决马其顿语在社交媒体领域，特别是推特平台上的情感分析资源匮乏问题。
• 开发一个高质量、由人工标注的马其顿语推文语料库，标注了推文级和短语级情感极性。
• 通过自举法技术，构建大规模、多语言的马其顿语情感词典。
• 评估不同预处理步骤和特征集对情感分类性能的影响。
• 为低资源、词形丰富的语言（如马其顿语）的未来研究建立强有力的基线。

提出的方法

• 由母语者对1,000条马其顿语推文进行情感极性（正面、负面、中性）和短语级情感的标注，构建了推特语料库。
• 开发了多种马其顿语情感词典，包括人工整理的词典以及源自多语言来源的自举法词典。
• 应用了包括停用词去除、否定处理、标准化为标准马其顿语、字符重复处理、词干提取和词性标注在内的预处理步骤。
• 采用基于机器学习的处理流程，使用来自情感词典、词频统计和语言学预处理的特征，并在标注数据上训练分类器。
• 使用正负类别平均的F1得分评估系统性能，中性类别视为隐式处理。
• 采用对比实验设计，以分离各个预处理步骤和特征集对分类准确率的影响。

实验结果

研究问题

• RQ1 不同预处理技术（如停用词去除、否定处理和标准化）对马其顿语推文情感分类性能有何影响？
• RQ2 基于词典的特征，特别是自举法词典和人工整理词典，对系统性能的贡献如何？
• RQ3 马其顿语的词形丰富性在多大程度上影响了标准自然语言处理预处理步骤在情感分析中的有效性？
• RQ4 所提出的系统性能与高资源语言（如英语）的最先进系统相比如何，特别是在推特情感分析背景下？
• RQ5 不同特征集（包括情感词典和语言学特征）对最终分类F1得分的相对贡献是什么？

主要发现

• 完整系统在F1得分上达到92.16，与近期SemEval竞赛中报告的英文最佳结果相当。
• 若不使用停用词去除，F1得分下降5.92分，表明其在性能中起关键作用。
• 否定处理也具有显著影响，若排除则F1得分下降4.65分。
• 若不进行标准化为标准马其顿语，F1得分下降1.94分，凸显其在处理词形变异中的重要性。
• 词干提取使性能提升0.98分，而词性标注影响微乎其微，仅使F1得分下降0.15分。
• 自举法情感词典对性能贡献最大，若排除则F1得分下降19.39分，超过人工整理词典的影响。