[论文解读] SentiLARE: Sentiment-Aware Language Representation Learning with Linguistic Knowledge

Pei Ke, Haozhe Ji+3 more|arXiv (Cornell University)|Nov 6, 2019

Topic Modeling参考文献 46被引用 7

一句话总结

SentiLARE 是一种情感感知的预训练语言模型，通过一种名为标签感知掩码语言建模的新预训练任务，将词级语言知识——词性标注和来自 SentiWordNet 的上下文感知情感极性——整合到 BERT 风格架构中。它通过早期融合和晚期监督，将局部语言知识与全局句子表示相结合，在多个情感分析基准上实现了最先进性能。

ABSTRACT

Most of the existing pre-trained language representation models neglect to consider the linguistic knowledge of texts, which can promote language understanding in NLP tasks. To benefit the downstream tasks in sentiment analysis, we propose a novel language representation model called SentiLARE, which introduces word-level linguistic knowledge including part-of-speech tag and sentiment polarity (inferred from SentiWordNet) into pre-trained models. We first propose a context-aware sentiment attention mechanism to acquire the sentiment polarity of each word with its part-of-speech tag by querying SentiWordNet. Then, we devise a new pre-training task called label-aware masked language model to construct knowledge-aware language representation. Experiments show that SentiLARE obtains new state-of-the-art performance on a variety of sentiment analysis tasks.

研究动机与目标

• 解决现有预训练模型忽略词级语言知识（如词性标注和情感极性）的局限性。
• 通过将上下文语言知识整合到预训练表示中，提升下游 NLP 任务中的情感理解能力。
• 设计一种能有效连接词级语言知识与句子级情感标签的预训练任务。
• 评估所提方法是否可泛化至其他涉及情感的 NLP 任务，而不仅限于情感分析。

提出的方法

• 使用上下文感知情感注意力机制，通过查询 SentiWordNet（使用词语及其词性标注）来推断每个词的情感极性。
• 模型引入一种名为标签感知掩码语言建模的新预训练任务，包含两个子任务：早期融合（将情感标签集成到输入嵌入中）和晚期监督（在输出层使用标签）。
• 将词级语言知识（词性和情感极性）注入输入嵌入，以丰富上下文表示。
• 使用预训练阶段获得的增强表示，在下游情感分析任务上进行微调。
• 标签感知掩码语言建模任务联合优化掩码词预测、词性标注、情感极性预测和句子级情感标签预测。
• 在 RoBERTa、BERT 和 ALBERT 上评估该方法，以评估其在不同预训练模型架构上的可迁移性。

实验结果

研究问题

• RQ1 将上下文感知的语言知识（词性标注和情感极性）整合到预训练模型中，是否能提升情感分析任务的性能？
• RQ2 所提出的标签感知掩码语言建模预训练任务在连接词级知识与句子级情感方面有多有效？
• RQ3 语言知识的整合是否可泛化至情感分析之外的其他 NLP 任务？
• RQ4 所提方法是否能在句子级和方面级情感分析基准上超越现有最先进模型？

主要发现

• SentiLARE 在多个情感分析基准上实现了新的最先进性能，包括 SST-2、SST-Less、SST-More 以及多个方面级任务。
• 在 SST-More 子集上，SentiLARE 的准确率比 RoBERTa 高 4.11%，比 SentiLARE-EF-LS 高 2.93%，证明了其预训练任务的有效性。
• 基于 BERT 和 ALBERT 的 SentiLARE 在所有评估任务中均优于其原始版本，证实了该方法在不同预训练模型上的可迁移性。
• 该模型在非情感任务上也具有泛化能力：在文本匹配任务（故事结尾预测、文本蕴涵、语义文本相似性）上，SentiLARE 将 RoBERTa 的准确率提升 1.52%，相关性最高提升 0.89 分。
• 消融实验证实，标签感知掩码语言建模任务至关重要，因为 SentiLARE-EF-LS（无晚期监督）在复杂数据集（如 SST-More）上的表现显著低于完整版 SentiLARE。
• 上下文感知情感注意力机制成功捕捉了词语在不同词性和上下文中的可变情感角色，优于静态情感词典。