[论文解读] Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence

Chi Sun, Luyao Huang+1 more|arXiv (Cornell University)|Mar 22, 2019

Sentiment Analysis and Opinion Mining参考文献 20被引用 349

一句话总结

本文通过构造辅助句并对 BERT 进行微调，将 (T)ABSA 转化为句子对分类任务，在 SentiHood 和 SemEval-2014 Task 4 上取得新的 state-of-the-art。

ABSTRACT

Aspect-based sentiment analysis (ABSA), which aims to identify fine-grained opinion polarity towards a specific aspect, is a challenging subtask of sentiment analysis (SA). In this paper, we construct an auxiliary sentence from the aspect and convert ABSA to a sentence-pair classification task, such as question answering (QA) and natural language inference (NLI). We fine-tune the pre-trained model from BERT and achieve new state-of-the-art results on SentiHood and SemEval-2014 Task 4 datasets.

研究动机与目标

• 动机：在用户评论中需要对目标-方面的细粒度极性理解来推动 ABSA 和 TABSA。
• 提出使用辅助句将 (T)ABSA 转换为句子对分类任务。
• 展示在 ABSA 任务上，BERT-对（pair）模型优于单句 BERT 基线。
• 提供在 SentiHood 和 SemEval-2014 Task 4 数据集上达到 state-of-the-art 的实证证据。

提出的方法

• 从目标-方面对构造辅助句，将 TABSA 转换为句子对分类任务。
• 定义四种构造方法：QA-M、NLI-M、QA-B、NLI-B，用于创建辅助句。
• 在句子对输入上微调预训练的 BERT，使用带有 softmax 的标准分类头对类别进行概率化。
• 在四种构造方法下，对比 BERT-single（单句）与 BERT-pair（句子对）配置。
• 在 SentiHood 和 SemEval-2014 Task 4 数据集上使用 accuracy、Macro-F1 和 AUC 作为评估指标。

实验结果

研究问题

• RQ1 通过辅助句将 TABSA/ABSA 转换为句子对分类任务，是否能在性能上优于单句 BERT 微调？
• RQ2 哪种辅助句构造方法（QA 与 NLI；是否加入标签信息）在 TABSA 和 ABSA 上能得到最佳结果？
• RQ3 在不同数据集和子任务（方面检测与极性）中，BERT-pair 模型是否始终优于 BERT-single 模型？

主要发现

• BERT-pair 模型在 SentiHood 数据集的方面检测和情感分类两项中均超过所有基线。
• 在 BERT-pair 的变体中，基于 QA 的构造在情感分类方面往往表现出色，而基于 NLI 的构造在方面检测方面通常表现出色。
• 在 SemEval-2014 Task 4 上，BERT-pair 配置达到最先进的结果，NLI-B 提供方面检测的强劲性能，QA-B 在极性方面的表现稳定。
• 提升来自将 TABSA 表示为句子对任务，利用 BERT 在 QA/NLI 风格输入的优势，并通过辅助句有效扩展数据。