[论文解读] Understanding Pre-trained BERT for Aspect-based Sentiment Analysis

Hu Xu, Lei Shu+2 more|arXiv (Cornell University)|Oct 31, 2020

Sentiment Analysis and Opinion Mining参考文献 32被引用 7

一句话总结

本文研究了 BERT 的掩码语言建模（MLM）预训练如何捕捉方面感知情感分析（ABSA）的特征，发现 BERT 将大部分表示能力用于领域特定语义和方面身份，而用于情感总结的特征极少。尽管在方面抽取上表现强劲，MLM 作为情感分类的代理任务仍表现较弱，因其对方面表示中情感极性的建模不足。

ABSTRACT

This paper analyzes the pre-trained hidden representations learned from reviews on BERT for tasks in aspect-based sentiment analysis (ABSA). Our work is motivated by the recent progress in BERT-based language models for ABSA. However, it is not clear how the general proxy task of (masked) language model trained on unlabeled corpus without annotations of aspects or opinions can provide important features for downstream tasks in ABSA. By leveraging the annotated datasets in ABSA, we investigate both the attentions and the learned representations of BERT pre-trained on reviews. We found that BERT uses very few self-attention heads to encode context words (such as prepositions or pronouns that indicating an aspect) and opinion words for an aspect. Most features in the representation of an aspect are dedicated to the fine-grained semantics of the domain (or product category) and the aspect itself, instead of carrying summarized opinions from its context. We hope this investigation can help future research in improving self-supervised learning, unsupervised learning and fine-tuning for ABSA. The pre-trained model and code can be found at https://github.com/howardhsu/BERT-for-RRC-ABSA.

研究动机与目标

• 理解 BERT 在未标注评论上的自监督预训练如何支持下游 ABSA 任务。
• 探究掩码语言建模（MLM）目标是否学习到对方面抽取和情感分类至关重要的特征。
• 确定预训练的 BERT 表示是否编码了情感极性，或主要对方面语义和领域上下文敏感。
• 通过分析跨领域学习表示的泛化能力，评估零样本或无监督 ABSA 的可行性。
• 识别 MLM 作为 ABSA 代理任务的局限性，并提出改进自监督学习的方向。

提出的方法

• 在包含亚马逊和 Yelp 评论的 20+ GB 语料库上预训练 BERT，以增强领域覆盖范围。
• 使用 SemEval-2014 和 SemEval-2016 数据集进行分析，未进行微调，以检查隐藏表示和注意力头。
• 应用 t-SNE 可视化分析最终 BERT 层中方面和非方面标记的潜在空间。
• 在冻结的 BERT 表示上训练 L1 正则化的逻辑回归探针，以识别对方面和情感分类显著的神经元。
• 对多词方面平均标记表示，并分析其在潜在空间中的聚类情况。
• 比较不同极性下意见词表示的差异，以评估情感是否编码在不同的子空间中。

实验结果

研究问题

• RQ1 BERT 的 MLM 预训练在多大程度上学习到能区分 ABSA 中方面与非方面的特征？
• RQ2 BERT 学习到的表示在多大程度上编码了方面的感情极性，且这些特征是否集中于特定神经元？
• RQ3 BERT 中是否存在可泛化、跨领域的神经元，可在不微调的情况下检测方面？
• RQ4 方面表示的潜在空间在多大程度上反映了语义相似性或情感极性？
• RQ5 为何 MLM 是端到端 ABSA 的弱代理任务，尤其在情感分类方面？

主要发现

• BERT 将其大部分表示能力用于领域特定语义和方面身份，而用于情感总结的特征极少。
• 方面表示根据语义相似性和领域聚类，表明对方面语义和上下文有强编码，但对情感无编码。
• BERT 潜在空间中没有单一神经元始终对方面抽取具有显著性，当仅使用单个神经元时，F1 从 79%（所有神经元）降至 31%（单个神经元）。
• 通过在冻结 BERT 表示上使用探针进行情感分类，F1 达到 83%，但无主导神经元出现，表明情感编码是分布式的。
• 不同极性的意见词在潜在空间中占据重叠区域，表明情感未编码在不同子空间中，而是通过语义和上下文线索实现。
• MLM 目标未能强有力地将方面表示与其相关意见关联，表明其在需要情感总结的端到端 ABSA 任务中存在根本性局限。