[论文解读] SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis

Hao Tian, Can Gao+6 more|arXiv (Cornell University)|May 12, 2020

Sentiment Analysis and Opinion Mining参考文献 40被引用 28

一句话总结

SKEP 提出了一种情感知识增强的预训练方法，通过在预训练过程中整合情感词、情感极性以及方面-情感对，以提升情感分析性能。通过使用情感掩码和三种联合预测目标——情感词预测、词级情感极性预测以及方面-情感对预测，SKEP 在多个情感分析任务上实现了最先进（SOTA）的性能表现，优于大多数基准模型 RoBERTa。

ABSTRACT

Recently, sentiment analysis has seen remarkable advance with the help of pre-training approaches. However, sentiment knowledge, such as sentiment words and aspect-sentiment pairs, is ignored in the process of pre-training, despite the fact that they are widely used in traditional sentiment analysis approaches. In this paper, we introduce Sentiment Knowledge Enhanced Pre-training (SKEP) in order to learn a unified sentiment representation for multiple sentiment analysis tasks. With the help of automatically-mined knowledge, SKEP conducts sentiment masking and constructs three sentiment knowledge prediction objectives, so as to embed sentiment information at the word, polarity and aspect level into pre-trained sentiment representation. In particular, the prediction of aspect-sentiment pairs is converted into multi-label classification, aiming to capture the dependency between words in a pair. Experiments on three kinds of sentiment tasks show that SKEP significantly outperforms strong pre-training baseline, and achieves new state-of-the-art results on most of the test datasets. We release our code at https://github.com/baidu/Senta.

研究动机与目标

• 为解决通用预训练模型在捕捉情感分析任务中特定情感表征方面的局限性。
• 将多样化的情感知识（如情感词、词级情感极性、方面-情感对）整合到预训练过程中。
• 构建一种统一的表征，使其能泛化于多种情感分析任务，包括句子级和方面级分类。
• 通过将注意力机制对准情感相关标记，提升模型的可解释性。
• 证明在预训练阶段引入情感知识可显著提升性能，优于标准预训练基线模型。

提出的方法

• 利用弱监督方法从大规模未标注文本中自动挖掘情感知识（情感词、情感极性、方面-情感对）。
• 应用情感掩码，基于挖掘出的知识移除输入序列中的情感相关标记，生成用于训练的损坏输入。
• 设计三种联合预训练目标：(1) 情感词预测，以恢复被掩码的情感词；(2) 词级情感极性预测，以恢复被掩码词的情感极性；(3) 通过多标签分类实现方面-情感对预测，以建模方面与情感之间的依赖关系。
• 在基于 Transformer 的架构中联合优化全部三项目标，使模型能够学习到具备情感感知能力的上下文表征。
• 将方面-情感对预测转化为多标签分类任务，以更好地捕捉方面与其相关情感之间的共现与依赖模式。
• 使用标注数据，通过标准微调协议在下游情感分析任务上微调 SKEP 模型。

实验结果

研究问题

• RQ1 在预训练过程中整合情感知识是否能显著提升下游情感分析任务的性能？
• RQ2 联合优化多个情感知识目标（词级、极性级、对级）对模型性能与泛化能力有何影响？
• RQ3 与标准预训练相比，情感掩码与知识感知预训练是否能带来更具可解释性的注意力机制？
• RQ4 通过 SKEP 学习到的统一情感表征是否能泛化于多样化的任务，如句子级与方面级分类？
• RQ5 在多个基准数据集上，SKEP 与强基线模型 RoBERTa 相比，在准确率与鲁棒性方面表现如何？

主要发现

• SKEP 在三项主要情感分析任务上显著优于 RoBERTa：句子级情感分类（SST-2）、方面级情感分类（SemEval-2017 Task 4）以及观点对抽取（SemEval-2015 Task 10）。
• 在 SST-2 数据集上，SKEP 达到 96.2% 的测试准确率，超过 RoBERTa 的 95.8%，创下新的 SOTA 结果。
• 在 SemEval-2017 Task 4 基准测试中，SKEP 的 F1 得分为 89.4%，优于 RoBERTa 的 88.7%，确立了新的 SOTA 水准。
• 在 SemEval-2015 Task 10 观点对抽取任务中，SKEP 的 F1 得分为 86.1%，超过 RoBERTa 的 84.9%。
• 注意力可视化结果表明，SKEP 对情感相关词汇（如 'amazing'）的注意力更准确，而 RoBERTa 在某些情况下未能关注到这些词汇。
• 消融实验表明，若移除任意一项预训练目标，性能均会下降，证实了联合学习框架中每一项组件的有效性。