[论文解读] Projecting Embeddings for Domain Adaptation: Joint Modeling of Sentiment Analysis in Diverse Domains

Jeremy Barnes, Roman Klinger+1 more|arXiv (Cornell University)|Jun 12, 2018

Sentiment Analysis and Opinion Mining参考文献 23被引用 11

一句话总结

本文提出了一种用于情感分析的新型领域自适应方法，通过使用双投影矩阵将单领域词嵌入映射到共享的双领域空间，联合优化跨领域对齐与情感分类。在20对领域自适应任务中的11对上达到最先进性能，尤其在书籍到电影或电子产品到厨房电器等高度差异化的领域中表现突出。

ABSTRACT

Domain adaptation for sentiment analysis is challenging due to the fact that supervised classifiers are very sensitive to changes in domain. The two most prominent approaches to this problem are structural correspondence learning and autoencoders. However, they either require long training times or suffer greatly on highly divergent domains. Inspired by recent advances in cross-lingual sentiment analysis, we provide a novel perspective and cast the domain adaptation problem as an embedding projection task. Our model takes as input two mono-domain embedding spaces and learns to project them to a bi-domain space, which is jointly optimized to (1) project across domains and to (2) predict sentiment. We perform domain adaptation experiments on 20 source-target domain pairs for sentiment classification and report novel state-of-the-art results on 11 domain pairs, including the Amazon domain adaptation datasets and SemEval 2013 and 2016 datasets. Our analysis shows that our model performs comparably to state-of-the-art approaches on domains that are similar, while performing significantly better on highly divergent domains. Our code is available at https://github.com/jbarnesspain/domain_blse

研究动机与目标

• 解决模型应用于新领域数据时性能下降的挑战。
• 克服现有领域自适应方法（特别是结构对应学习和自编码器）在高差异领域中训练成本高或性能差的局限性。
• 在保持领域特异性特征的同时实现代价有效的跨领域迁移，避免先前方法中常见的信息丢失。
• 开发一种方法，使模型在无需微调或重新训练的情况下，实现源领域或目标领域的零样本情感分类。
• 研究不同投影词典（基于频率、基于情感、互信息）对跨领域配对中模型性能的影响。

提出的方法

• 使用Word2Vec在源领域和目标领域分别训练两个独立的单领域跳字模型词嵌入。
• 学习两个投影矩阵：M（从源到双领域）和M'（从目标到双领域），以实现双向对齐。
• 联合优化双领域表示，以最小化源领域的情感分类损失，并通过对比损失实现源和目标嵌入的对齐。
• 使用共享分类器头P对双领域表示进行情感预测，从而实现在任一领域中的零样本推理。
• 通过情感分类损失和跨领域对齐损失的组合进行训练，双领域空间作为共享表示。
• 评估多种投影词典（基于频率、基于情感、互信息），以识别最优的对齐枢纽特征。

实验结果

研究问题

• RQ1 联合嵌入投影框架是否能在高度差异化的领域情感分析任务中超越现有领域自适应方法？
• RQ2 通过投影保持领域特异性特征是否相比减少领域依赖特征的方法能提升性能？
• RQ3 不同类型的投影词典（基于频率、基于情感、互信息）如何影响跨领域配对中的模型性能？
• RQ4 目标领域投影矩阵M'是否对实现有效的情感迁移至目标领域至关重要？
• RQ5 模型是否能在无需微调的情况下，实现对源领域和目标领域的零样本情感分类？

主要发现

• 所提模型在20对源-目标领域配对中，有11对在情感分类任务上达到新的最先进结果。
• 在Amazon领域自适应基准上，该模型优于Nscl和mSDA，尤其在差异较大的配对（如书籍到DVD）中表现更优（正类F1：26.9 vs. 34.2，Nscl为34.2）。
• 在相似领域（如书籍到DVD）上性能与最先进方法相当，但在高度差异化的领域（如厨房电器到SemEval 2013）中显著优于它们（负类F1：23.3 vs. 70.5，Nscl为70.5）。
• 在高度差异化的领域中，基于频率的投影词典表现最佳，而基于情感的词典表现较差，可能因覆盖不足。
• 基于互信息的词典在大多数配对中表现良好，但在SemEval 2013中失败，原因可能是词汇量过小（103个词元），表明对词典质量敏感。
• 消融实验确认目标投影矩阵M'至关重要：若移除M'，即使在源领域中学习，模型也无法在目标领域中正确预测情感。