[论文解读] Unsupervised Sentiment Analysis for Code-mixed Data

Siddharth Yadav, Tanmoy Chakraborty|arXiv (Cornell University)|Jan 20, 2020

Natural Language Processing Techniques参考文献 23被引用 9

一句话总结

本文提出了一种使用多语言和跨语言嵌入的无监督代码混合文本情感分析方法，实现了从单语数据到代码混合数据的零样本迁移，无需平行语料库或语言识别。在英语-西班牙语代码混合情感分析任务中，其无监督F1得分为0.58，使用平行数据时F1得分为0.62，优于先前最先进方法3.11个百分点。

ABSTRACT

Code-mixing is the practice of alternating between two or more languages. Mostly observed in multilingual societies, its occurrence is increasing and therefore its importance. A major part of sentiment analysis research has been monolingual, and most of them perform poorly on code-mixed text. In this work, we introduce methods that use different kinds of multilingual and cross-lingual embeddings to efficiently transfer knowledge from monolingual text to code-mixed text for sentiment analysis of code-mixed text. Our methods can handle code-mixed text through a zero-shot learning. Our methods beat state-of-the-art on English-Spanish code-mixed sentiment analysis by absolute 3\% F1-score. We are able to achieve 0.58 F1-score (without parallel corpus) and 0.62 F1-score (with parallel corpus) on the same benchmark in a zero-shot way as compared to 0.68 F1-score in supervised settings. Our code is publicly available.

研究动机与目标

• 解决单语情感分析模型在代码混合文本上表现不佳的问题，原因在于语言混合及未见过的句法结构。
• 开发一种零样本方法，将单语数据集的知识迁移至代码混合文本，而无需标注的代码混合数据或平行语料库。
• 评估多种多语言和跨语言嵌入在捕捉代码混合语言特有语义和句法特征方面的有效性。
• 证明在单语数据上微调后迁移至代码混合数据可提升性能，即使在没有代码混合样本显式监督的情况下亦然。
• 建立一种训练课程：先在单语数据上训练，再在代码混合数据上训练，以提高知识迁移效率。

提出的方法

• 使用多语言和跨语言嵌入——具体为MUSE、LASER、FastText和MultiBPEmb——这些嵌入在单语语料库上训练，可在不同语言间建立共享向量空间。
• 应用词/子词级别嵌入以处理无需语言标签的代码混合句子，实现语言无关的表征学习。
• 在嵌入之上使用单层双向LSTM（50个单元）和dropout（0.3）训练一个简单分类器，随后接一个softmax输出层。
• 实施两阶段训练课程：首先在合并的单语英语和西班牙语数据集上预训练，若存在监督信号则在代码混合数据上微调。
• 使用ADAM优化器，固定初始学习率为0.001，并采用早停策略（耐心值为10）以防止过拟合。
• 使用基准英语-西班牙语代码混合数据集评估性能，标签为三类：正面、负面和中性，以F1得分作为评价指标。

实验结果

研究问题

• RQ1 多语言和跨语言嵌入是否能在无需任何标注代码混合数据的情况下，实现有效的零样本代码混合文本情感分析？
• RQ2 基于现成嵌入的无监督模型在代码混合情感分析上的表现，与有监督的最先进方法相比如何？
• RQ3 在迁移至代码混合数据之前，先在单语数据上微调是否能提升下游性能，相比随机混合单语和代码混合数据？
• RQ4 在无监督和有监督设置下，哪种嵌入类型——FastText、MUSE、LASER或MultiBPEmb——在代码混合情感分析中表现最佳？
• RQ5 使用平行单语语料库在多大程度上能提升代码混合情感分析中的零样本性能？

主要发现

• 所提方法在英语-西班牙语代码混合情感分析的完全无监督设置下达到0.58的F1得分，优于先前的无监督方法。
• 在可访问平行单语语料库的情况下，方法的F1得分达到0.62，表明其具备强大的零样本泛化能力。
• 在代码混合数据上训练的自定义fastText嵌入在无监督设置下表现最佳（F1得分为0.58），表明子词级别学习比拼接单语语料库更能捕捉代码混合语言模式。
• LASER在零样本模式下达到惊人的0.62 F1得分，与先前最先进方法持平，凸显了在共享编码器上训练翻译任务的优势。
• 使用FastText嵌入的模型在无监督设置下达到0.584的F1得分，比先前SOTA高出3.11个百分点。
• 两阶段训练课程（先单语，后代码混合）比随机混合更有效，证实了结构化知识迁移的重要性。