[论文解读] Projecting Embeddings for Domain Adaption: Joint Modeling of Sentiment Analysis in Diverse Domains

Jeremy Barnes, Roman Klinger+1 more|arXiv (Cornell University)|Aug 1, 2018

Sentiment Analysis and Opinion Mining参考文献 27被引用 19

一句话总结

该论文提出了一种新颖的领域自适应方法，通过联合优化实现跨领域对齐与情感预测，将单领域嵌入投影到共享的双领域空间中。在20对源-目标领域对中的11对上取得了最先进性能，尤其在高度差异化的领域中相较于现有方法表现更优。

ABSTRACT

Domain adaptation for sentiment analysis is challenging due to the fact that supervised classifiers are very sensitive to changes in domain. The two most prominent approaches to this problem are structural correspondence learning and autoencoders. However, they either require long training times or suffer greatly on highly divergent domains. Inspired by recent advances in cross-lingual sentiment analysis, we provide a novel perspective and cast the domain adaptation problem as an embedding projection task. Our model takes as input two mono-domain embedding spaces and learns to project them to a bi-domain space, which is jointly optimized to (1) project across domains and to (2) predict sentiment. We perform domain adaptation experiments on 20 source-target domain pairs for sentiment classification and report novel state-of-the-art results on 11 domain pairs, including the Amazon domain adaptation datasets and SemEval 2013 and 2016 datasets. Our analysis shows that our model performs comparably to state-of-the-art approaches on domains that are similar, while performing significantly better on highly divergent domains. Our code is available at https://github.com/jbarnesspain/domain_blse

研究动机与目标

• 解决情感分类器在语言风格和词汇差异较大的领域间迁移时性能下降的挑战。
• 克服现有方法（如结构对应学习和自编码器）的局限性，这些方法在长训练时间或高度差异化的领域中表现不佳。
• 通过将领域自适应重新定义为单领域空间之间的嵌入投影任务，提出一种新视角。
• 在共享的双领域嵌入空间中联合优化领域对齐与情感预测。
• 在包括Amazon、SemEval 2013和SemEval 2016在内的多样化基准数据集上实现最先进结果。

提出的方法

• 该模型以两个独立的单领域嵌入空间（源领域和目标领域）作为输入。
• 学习一个投影矩阵，将源领域和目标领域的嵌入映射到共享的双领域空间中。
• 通过联合优化，最小化领域偏移的同时最大化情感分类准确率。
• 联合目标函数结合了对比损失（用于领域对齐）和交叉熵损失（用于情感预测）。
• 使用反向传播和梯度下降进行端到端训练。
• 借鉴跨语言迁移的洞见，提升在语义和词汇上差异较大的领域之间的泛化能力。

实验结果

研究问题

• RQ1 在高度差异化的领域中，单领域空间之间的嵌入投影是否优于传统领域自适应方法？
• RQ2 与顺序或独立训练相比，联合优化领域对齐与情感预测是否能提升迁移性能？
• RQ3 在SemEval 2013和2016等标准情感分析基准上，该方法与最先进方法相比表现如何？
• RQ4 在何种场景下，该模型相较于现有方法展现出显著优势，特别是在领域差异性方面？
• RQ5 在目标领域标注数据极少的情况下，模型是否仍能实现良好泛化？

主要发现

• 所提方法在20对源-目标领域对中的11对上实现了情感分类的最先进性能。
• 在高度差异化的领域中，其表现显著优于先前方法，而结构对应学习和自编码器在这些场景中表现不佳。
• 在相似领域中，该模型表现与最先进方法相当，表明其在不同领域相似度水平下均具备鲁棒性。
• 嵌入投影与情感预测的联合优化带来了更优的对齐效果和更高的分类准确率。
• 该模型在Amazon和SemEval 2013/2016等基准数据集上展现出强大的泛化能力，且公开了代码。
• 结果验证了将领域自适应建模为嵌入投影任务并结合联合学习的有效性。