[论文解读] Zero-Shot Cross-Lingual Opinion Target Extraction

Soufian Jebbara, Philipp Cimiano|arXiv (Cornell University)|Apr 19, 2019

Sentiment Analysis and Opinion Mining参考文献 17被引用 7

一句话总结

本文提出一种零样本跨语言方法，利用卷积神经网络中的多语言词嵌入进行意见目标抽取，无需任何目标语言的标注数据即可在低资源语言中实现准确的 OTE 预测。当利用多种源语言时，该方法在性能上可达到以目标语言数据训练的单语模型的 87%。

ABSTRACT

Aspect-based sentiment analysis involves the recognition of so called opinion target expressions (OTEs). To automatically extract OTEs, supervised learning algorithms are usually employed which are trained on manually annotated corpora. The creation of these corpora is labor-intensive and sufficiently large datasets are therefore usually only available for a very narrow selection of languages and domains. In this work, we address the lack of available annotated data for specific languages by proposing a zero-shot cross-lingual approach for the extraction of opinion target expressions. We leverage multilingual word embeddings that share a common vector space across various languages and incorporate these into a convolutional neural network architecture for OTE extraction. Our experiments with 5 languages give promising results: We can successfully train a model on annotated data of a source language and perform accurate prediction on a target language without ever using any annotated samples in that target language. Depending on the source and target language pairs, we reach performances in a zero-shot regime of up to 77% of a model trained on target language data. Furthermore, we can increase this performance up to 87% of a baseline model trained on target language data by performing cross-lingual learning from multiple source languages.

研究动机与目标

• 解决低资源语言中意见目标抽取标注数据稀缺的问题。
• 实现在无目标语言任何标注示例的情况下，将源语言的 OTE 模型零样本迁移至目标语言。
• 研究使用多种源语言对跨语言迁移性能的影响。
• 评估多语言词嵌入在零样本设置下对序列标注任务的有效性。
• 通过利用跨语言迁移，降低低资源语言的标注成本。

提出的方法

• 将任务建模为使用 IOB 方案对意见目标表达式进行标注的序列标注问题。
• 采用多层卷积神经网络（CNN）作为序列标注模型，输入特征仅限于词嵌入，以确保方法的简洁性和广泛适用性。
• 使用 Smith 等人（2017）和 Lample 等人（2018）提出的多语言词嵌入，将不同语言的词表示对齐至共享向量空间。
• 模型在源语言的标注数据上进行训练，并直接应用于目标语言，无需在目标语言数据上进行微调。
• 通过在多种源语言上进行训练，提升模型的泛化能力和跨语言迁移性能。
• 在包括英语、西班牙语、荷兰语、法语和土耳其语在内的五种语言上评估该方法的性能。

实验结果

研究问题

• RQ1 在目标语言无任何标注训练数据的情况下，能否在目标语言中实现高精度的意见目标抽取？
• RQ2 使用多种源语言如何影响跨语言意见目标抽取的零样本性能？
• RQ3 多语言词嵌入在低资源设置下，能在多大程度上实现有效的零样本迁移用于序列标注？
• RQ4 跨语言模型的性能与在目标语言数据上训练的单语基线模型相比如何？
• RQ5 在目标语言中引入少量标注示例，是否能显著减少所需的标注工作量？

主要发现

• 当以英语作为源语言时，零样本模型在西班牙语上的 F1 得分为 0.50，在荷兰语上为 0.46，分别达到单语基线性能的 74% 和 77%。
• 通过利用多种源语言，模型在西班牙语和荷兰语上的 F1 分数分别提升至 0.58 和 0.53，分别达到单语基线性能的 85% 和 87%。
• 当结合少量目标语言数据时，该模型显著减少了所需标注的目标语言样本数量，减少数百个。
• 土耳其语作为黏着语，其跨语言学习带来的性能提升最小，表明语言差异可能影响迁移能力。
• 评估的两种多语言嵌入方法整体表现相近，尽管在不同语言对之间性能存在差异。
• 该模型在俄语和土耳其语上达到了最先进或具有竞争力的性能，优于这些语言中现有的系统。