[论文解读] On the Effect of Word Order on Cross-lingual Sentiment Analysis

Àlex R. Atrio, Toni Badía+1 more|arXiv (Cornell University)|Jun 13, 2019

Topic Modeling参考文献 31被引用 5

一句话总结

本文研究了在使用双语嵌入进行跨语言情感分析时，词序的影响。提出在测试阶段对目标语言句子进行预重排，使其与源语言词序一致，显著提升了分类准确率，尤其在句法差异较大的语言中效果更明显，表明单语模型对词序的敏感性可迁移到跨语言设置中。

ABSTRACT

Current state-of-the-art models for sentiment analysis make use of word order either explicitly by pre-training on a language modeling objective or implicitly by using recurrent neural networks (RNNs) or convolutional networks (CNNs). This is a problem for cross-lingual models that use bilingual embeddings as features, as the difference in word order between source and target languages is not resolved. In this work, we explore reordering as a pre-processing step for sentence-level cross-lingual sentiment classification with two language combinations (English-Spanish, English-Catalan). We find that while reordering helps both models, CNNS are more sensitive to local reorderings, while global reordering benefits RNNs.

研究动机与目标

• 研究在使用双语嵌入时，词序如何影响跨语言情感分类。
• 确定是否可通过句子重排，提升对词序敏感的单语模型在跨语言设置下的性能。
• 评估对目标语言测试数据进行预重排以匹配源语言句法结构的有效性。
• 评估重排是否在句法模式不同的低资源语言中均能提升性能。
• 提供实证证据，表明即使使用无监督双语嵌入，词序仍是跨语言迁移中的关键因素。

提出的方法

• 利用单语数据训练的双语词嵌入，构建跨语言共享向量空间。
• 对目标语言测试句子应用五种重排策略：基于规则的（名词-形容词、仅词典、无词典）、随机重排，以及按源语言词序重排。
• 在句子级嵌入上使用线性分类器，对英语、西班牙语和加泰罗尼亚语数据集进行情感分类。
• 使用源自源语言词序的句法模板重排句子，尤其关注情感承载短语。
• 在 OpeNER 和 MultiBooked 语料库的细粒度情感数据集（二元和四分类）上评估性能。
• 通过比较原始顺序、重排顺序和随机顺序下的分类准确率，隔离词序的影响。

实验结果

研究问题

• RQ1 目标语言句子中的词序如何影响使用双语嵌入的跨语言情感分类器性能？
• RQ2 将目标语言句子重排为与源语言词序一致，能在多大程度上提升分类准确率？
• RQ3 对于句法结构不同的语言（如加泰罗尼亚语与西班牙语），重排的收益是否有所不同？
• RQ4 是否可通过重排，将对词序敏感的单语预训练模型有效迁移到低资源语言？
• RQ5 重排带来的性能提升是否在不同情感粒度级别（如二元与四分类情感）上保持一致？

主要发现

• 将目标语言测试句子重排为与源语言词序一致，可显著提升跨语言情感分类性能。
• 在加泰罗尼亚语数据集上观察到最佳提升，F1 分数相比原始顺序最高提升 12.4 个百分点。
• 在英语模型上测试西班牙语数据时，当测试句子按英语词序重排后，F1 分数提升了 5.3%。
• 重排的收益在低资源设置以及与源语言句法差异较大的语言中最为显著。
• 即使仅基于名词-形容词顺序的简单规则重排，也优于随机和仅词典基线。
• 结果表明，词序是跨语言迁移中的关键因素，依赖序列上下文的模型对源语言与目标语言之间的结构不匹配极为敏感。