[论文解读] Sentiment Analysis of Code-Mixed Indian Languages: An Overview of SAIL_Code-Mixed Shared Task @ICON-2017

Braja Gopal Patra, Dipankar Das+1 more|arXiv (Cornell University)|Mar 18, 2018

Natural Language Processing Techniques参考文献 10被引用 87

一句话总结

本论文在 ICON-2017 展示 SAIL_Code-Mixed 共享任务，详细介绍用于印地语-英语和孟加拉语-英语代码混合情感分析的数据集、评估、基线和参赛系统。它报告了多个团队的宏 F 分数，并分析特征选择与方法。

ABSTRACT

Sentiment analysis is essential in many real-world applications such as stance detection, review analysis, recommendation system, and so on. Sentiment analysis becomes more difficult when the data is noisy and collected from social media. India is a multilingual country; people use more than one languages to communicate within themselves. The switching in between the languages is called code-switching or code-mixing, depending upon the type of mixing. This paper presents overview of the shared task on sentiment analysis of code-mixed data pairs of Hindi-English and Bengali-English collected from the different social media platform. The paper describes the task, dataset, evaluation, baseline and participant's systems.

研究动机与目标

• 推动对代码混合的印度社交媒体文本的情感分析（HI-EN 和 BN-EN）。
• 提供带语言和情感注释的 HI-EN 和 BN-EN 银标准数据集。
• 使用宏平均 F-score 和基线比较评估多方参赛系统。
• 分析顶尖团队使用的特征和建模方法。

提出的方法

• 带语言标注的数据集创建（HI、EN、BN、MIX、EMT、UN）和情感注释。
• 以宏平均 F-score 作为主要评估指标。
• 基线系统采用随机情感分配。
• 使用特征集合（n-gram、词/字符嵌入、情感词典）和分类器（SVM、朴素贝叶斯、深度学习）比较参赛系统。
• 对正向、负向、中性进行两类（二元）和总体多类评估。

实验结果

研究问题

• RQ1 在 HI-EN 和 BN-EN 代码混合数据中，有效的情感分析特征是什么？
• RQ2 词/字符 n-gram 和嵌入是否提升代码混合情感任务的性能？
• RQ3 在有限的代码混合数据上，传统机器学习方法与深度学习有何差异？
• RQ4 本共享任务中 HI-EN 与 BN-EN 情感分析的相对难度如何？
• RQ5 在此类代码混合数据集上可以预期的基线表现如何，参赛系统与之相差有多接近？

主要发现

• 顶级 HI-EN 系统（IIIT-NBP）在整体 macro F1 达到 0.569，二选一正向分类达到 0.707。
• 顶级 BN-EN 系统（IIIT-NBP）在整体 macro F1 达到 0.526，二选一正向分类达到 0.677。
• 二元（binary）评估通常获得比多类（正/负/中性）更高的 F 分数。
• 大多数团队依赖于 n-gram 特征和 scikit-learn 分类器；部分使用词/字符嵌入和集成方法。
• 深度学习方法（如 fastText + CNN/Bi-LSTM）在给定数据规模下并未超越传统机器学习方法。
• 基线随机情感表现相对较低，凸显了在代码混合社交媒体文本上的任务难度。