[论文解读] Multilingual Sentiment Analysis: An RNN-Based Framework for Limited Data

Ethem F. Can, Aysu Ezen-Can+1 more|arXiv (Cornell University)|Jun 8, 2018

Sentiment Analysis and Opinion Mining参考文献 23被引用 68

一句话总结

作者在大型通用数据集上训练英语语言RNN情感模型，并通过将测试数据翻译成英语，在西班牙语、土耳其语、荷兰语和俄语上重复利用该模型，相对于基线有改进。

ABSTRACT

Sentiment analysis is a widely studied NLP task where the goal is to determine opinions, emotions, and evaluations of users towards a product, an entity or a service that they are reviewing. One of the biggest challenges for sentiment analysis is that it is highly language dependent. Word embeddings, sentiment lexicons, and even annotated data are language specific. Further, optimizing models for each language is very time consuming and labor intensive especially for recurrent neural network models. From a resource perspective, it is very challenging to collect data for different languages. In this paper, we look for an answer to the following research question: can a sentiment analysis model trained on a language be reused for sentiment analysis in other languages, Russian, Spanish, Turkish, and Dutch, where the data is more limited? Our goal is to build a single model in the language with the largest dataset available for the task, and reuse it for languages that have limited resources. For this purpose, we train a sentiment analysis model using recurrent neural networks with reviews in English. We then translate reviews in other languages and reuse this model to evaluate the sentiments. Experimental results show that our robust approach of single model trained on English reviews statistically significantly outperforms the baselines in several different languages.

研究动机与目标

• 激励并解决多语言情感分析中的数据与资源瓶颈。
• 提出一个单一的英语训练RNN模型，可以通过使用更大的一般数据集来专门化到特定领域。
• 通过将非英语测试集翻译成英语进行推断来评估模型在非英语上的表现。
• 证明基于翻译的、语言无关的方法在低资源语言上优于基线。

提出的方法

• 使用英语评论训练一个两层双向RNN，每层40个神经元，使用预训练的100维词嵌入。
• 采用从泛到特定的策略，先在大型的多领域英语语料（Amazon评论）上训练，然后再通过领域特定的英语评论（Yelp和餐厅数据集）进行领域专门化。
• 使用Google Translate将非英语测试评论翻译成英语，并用英语训练的模型进行情感评分。
• 将RNN性能与多数基线和基于词汇的基线（SentiWordNet）在四种语言上的表现进行比较。
• 通过 Tukey HSD 检验评估统计显著性，并报告效应量（Cohen’s d）。

实验结果

研究问题

• RQ1 能否用机器翻译在数据有限的情况下将一个语言训练的情感分析模型复用于另一语言？
• RQ2 在没有语言特定资源的情况下，英语训练的RNN模型在多语言设置中是否优于基线？
• RQ3 翻译质量对多语言情感分类性能有何影响？

主要发现

Dataset	Majority Baseline	Lexicon-based Baseline	RNN
s_r	72.71	70.98	84.21
t_r	56.97	61.59	74.36
d_r	59.63	70.52	81.77
r_r	79.60	67.81	85.61

• RNN在所有四种目标语言（西班牙语、土耳其语、荷兰语、俄语）上均超过基线。
• 数据集准确率：s_r 84.21, t_r 74.36, d_r 81.77, r_r 85.61.
• RNN与基线之间的平均准确率差异在 Tukey HSD 检验下具有统计显著性。
• 基于翻译的方法尽管存在因非英语词汇导致的一些错误分类，但仍表现出稳健的性能。
• 英语测试的准确率为87.06%，基线为68.37%（多数类）和60.10%（基于词汇）。
• 该方法在各语言上相对于基线实现了显著的相对提升。