[论文解读] SentiBERT: A Transferable Transformer-Based Architecture for Compositional Sentiment Semantics

Da Yin, Tao Meng+1 more|arXiv (Cornell University)|May 8, 2020

Sentiment Analysis and Opinion Mining参考文献 31被引用 19

一句话总结

SentiBERT 是一种基于 BERT 的架构，通过两级注意力机制将二叉成分解析树与上下文表示相结合，从而增强复合情感语义的建模能力。该模型在短语级情感分类任务上达到最先进性能，并在情感分类和推特情感分析等相关任务中展现出强大的迁移能力，尤其在处理否定和对比关系方面表现突出。

ABSTRACT

We propose SentiBERT, a variant of BERT that effectively captures compositional sentiment semantics. The model incorporates contextualized representation with binary constituency parse tree to capture semantic composition. Comprehensive experiments demonstrate that SentiBERT achieves competitive performance on phrase-level sentiment classification. We further demonstrate that the sentiment composition learned from the phrase-level annotations on SST can be transferred to other sentiment analysis tasks as well as related tasks, such as emotion classification tasks. Moreover, we conduct ablation studies and design visualization methods to understand SentiBERT. We show that SentiBERT is better than baseline approaches in capturing negation and the contrastive relation and model the compositional sentiment semantics.

研究动机与目标

• 为解决在涉及否定和对比的复杂句子中建模复合情感语义的挑战。
• 将句法结构（二叉成分树）与 BERT 的上下文表示相结合，以提升情感组合能力。
• 评估在短语级标注数据上学习到的情感组合能力向其他情感分析和情绪分类任务的迁移能力。
• 分析模型在弱监督设置下的可解释性与鲁棒性。

提出的方法

• SentiBERT 使用 BERT 作为主干网络，生成上下文相关的词元表示。
• 通过两级注意力机制组合短语表示：首先关注组成词元，再利用子节点表示对结果进行精炼。
• 语义组合模块通过掩码语言建模和短语级情感预测任务进行端到端训练。
• 使用斯坦福情感树库（SST）的短语级情感标签对组合模块进行监督。
• 通过同时使用短语级和句子级标注对模型在下游任务中进行微调。
• 通过消融实验和注意力可视化分析模型行为，评估句法与上下文组件的贡献。

实验结果

研究问题

• RQ1 通过整合句法结构与上下文表示，基于 BERT 的模型能否有效捕捉复合情感语义？
• RQ2 在短语级情感分类任务中，SentiBERT 相较于基线模型表现如何，特别是在处理否定和对比关系方面？
• RQ3 在 SST 上学习到的情感组合能力在多大程度上可迁移至其他情感分析和情绪分类任务？
• RQ4 SentiBERT 达到优异性能所需的短语级监督程度如何？利用弱监督获得的高置信度预测是否能提升性能？

主要发现

• SentiBERT 在 SST-5 短语级情感分类基准上达到 30.7% 的准确率，优于使用平均池化的 BERT（26.1%）及其他 BERT 变体。
• 在处理对比关系方面，模型相比基线有显著提升，于 'X but Y' 三元组评估中达到 30.7% 的准确率。
• 在包含否定的句子中，SentiBERT 相较于基线模型表现更优，显示出对否定效应更强的处理能力。
• 仅使用 30–50% 的短语级标签，SentiBERT 在 SST-5 和 SST-3 上即达到具有竞争力的性能，接近 XLNet 的表现。
• 即使在无任何短语级监督的情况下，若在预训练阶段使用 70–80% 的短语标签，SentiBERT 也能在推特情感分析任务上与 XLNet 表现相当。
• SST-3 中 40–50% 的短语节点预测置信度超过 0.9，且在这些高置信度预测中准确率超过 90%，表明弱监督具有潜在应用价值。