[论文解读] Transferable End-to-End Aspect-based Sentiment Analysis with Selective Adversarial Learning

Zheng Li, Xin Li+4 more|arXiv (Cornell University)|Oct 30, 2019

Sentiment Analysis and Opinion Mining被引用 24

一句话总结

本文提出了一种新颖的有选择性的对抗学习（Selective Adversarial Learning, SAL）方法，用于端到端方面感知情感分析（E2E-ABSA）中的无监督域自适应，实现了在不依赖外部语言资源的情况下，源域与目标域之间的细粒度、词级别对齐。通过对抗训练动态学习重要词的对齐权重，该方法显著提升了模型的可迁移性，并在四个基准数据集上取得了最先进性能。

ABSTRACT

Joint extraction of aspects and sentiments can be effectively formulated as a sequence labeling problem. However, such formulation hinders the effectiveness of supervised methods due to the lack of annotated sequence data in many domains. To address this issue, we firstly explore an unsupervised domain adaptation setting for this task. Prior work can only use common syntactic relations between aspect and opinion words to bridge the domain gaps, which highly relies on external linguistic resources. To resolve it, we propose a novel Selective Adversarial Learning (SAL) method to align the inferred correlation vectors that automatically capture their latent relations. The SAL method can dynamically learn an alignment weight for each word such that more important words can possess higher alignment weights to achieve fine-grained (word-level) adaptation. Empirically, extensive experiments demonstrate the effectiveness of the proposed SAL method.

研究动机与目标

• 解决由于新领域标注数据稀缺而导致的低资源、跨域E2E-ABSA挑战。
• 克服先前方法依赖固定句法规则或外部解析器进行域对齐的局限性。
• 通过学习更具信息量词语的动态对齐权重，实现细粒度的词级别域自适应。
• 开发一种无需目标域标注数据即可实现更优迁移性能的方法。
• 证明在序列标注任务中，对抗域自适应下选择性对齐的必要性与有效性。

提出的方法

• 提出多跳双记忆交互（Multi-hop Dual Memory Interaction, DMI）机制，利用局部、全局方面与意见词记忆，自动推断方面词与意见词之间的潜在关联。
• 设计有选择性对抗学习（Selective Adversarial Learning, SAL）框架，为每个词学习动态对齐权重，以在域对齐过程中优先关注重要词语。
• 通过对抗训练对齐源域与目标域的特征表示，其中对齐权重作为可学习的词级别重要性选择器。
• 将DMI与SAL组件整合进一个端到端模型，在统一的标注体系下联合执行方面检测与情感分类。
• 使用源域的监督损失与目标域的对抗域自适应损失联合训练模型。
• 利用注意力机制可视化并验证SAL聚焦于方面词，从而同时提升对齐效果与预测准确率。

实验结果

研究问题

• RQ1 无监督域自适应能否有效应用于端到端方面感知情感分析，以减少对新领域标注数据的依赖？
• RQ2 如何在不依赖外部语言资源或固定句法规则的前提下，提升词级别的域对齐效果？
• RQ3 为单个词动态学习对齐权重是否能带来优于均匀对抗对齐的迁移性能？
• RQ4 选择性对齐在域自适应过程中在多大程度上减少了无信息词带来的噪声？
• RQ5 所提出方法能否在多样领域间实现泛化，并在跨域E2E-ABSA任务中超越现有最先进方法？

主要发现

• 所提出的SAL方法在四个基准数据集上显著优于最先进细粒度自适应方法，展现出卓越的可迁移性。
• 消融实验表明，选择性对齐显著提升性能，缺乏动态加权的模型因无信息词引入的噪声而表现下降。
• 注意力权重可视化显示，AD-SAL在目标域中正确聚焦于完整方面短语（如“bluetooth device”、“usb device”），而采用均匀对齐的模型则无法做到。
• DMI机制成功捕捉了方面词与意见词之间的潜在关联，且无需依赖外部语言工具。
• 完整模型（AD-SAL）能精确识别所有方面短语并做出正确的统一标签预测，而采用均匀对抗学习的基线模型则无法关注完整方面短语。
• 该方法在目标域无任何标注数据的情况下仍表现出强劲性能，验证了其在E2E-ABSA无监督域自适应中的有效性。