[论文解读] Zero-Shot Aspect-Based Sentiment Analysis

Lei Shu, Xu Hu+2 more|arXiv (Cornell University)|Feb 4, 2022

Sentiment Analysis and Opinion Mining被引用 9

一句话总结

该论文提出 CORN，一种基于规则筛选的评论自然语言蕴含（RNLI）数据进行对比后训练的方法，以实现在无任何人工标注 ABSA 数据的情况下，对方面抽取（AE）、方面情感分类（ASC）和端到端 ABSA（E2E）任务的零样本方面情感分析（ABSA）。通过将 ABSA 任务转化为自然语言蕴含任务，并利用对比学习在 RNLI 上学习领域不变表示，CORN 实现了强大的零样本性能，在 AE 和 E2E 任务上超越基线模型，同时消除了对任务特定标注的需求。

ABSTRACT

Aspect-based sentiment analysis (ABSA) typically requires in-domain annotated data for supervised training/fine-tuning. It is a big challenge to scale ABSA to a large number of new domains. This paper aims to train a unified model that can perform zero-shot ABSA without using any annotated data for a new domain. We propose a method called contrastive post-training on review Natural Language Inference (CORN). Later ABSA tasks can be cast into NLI for zero-shot transfer. We evaluate CORN on ABSA tasks, ranging from aspect extraction (AE), aspect sentiment classification (ASC), to end-to-end aspect-based sentiment analysis (E2E ABSA), which show ABSA can be conducted without any human annotated ABSA data.

研究动机与目标

• 为解决在缺乏领域内人工标注数据的情况下，将基于方面的情感分析（ABSA）扩展到新领域所面临的挑战。
• 实现在目标领域中无任何标注样本的情况下，对三种 ABSA 任务——方面抽取（AE）、方面情感分类（ASC）和端到端 ABSA（E2E）——的零样本迁移。
• 开发一个统一模型，通过在评论 NLI 上进行自监督对比后训练，学习领域不变的方面-意见和方面-实体依赖关系。
• 通过用基于规则的评论 NLI 示例筛选替代人工标注的 NLI 数据，减少对昂贵人工标注的依赖。

提出的方法

• 通过从评论中的文本片段构建假设，将所有 ABSA 任务（AE、ASC、E2E）转化为自然语言蕴含（NLI）任务。
• 使用基于规则的启发式方法将未标注的评论预处理为评论 NLI（RNLI）格式，生成如 'The product has <S>' 这类假设对，其中 S 为文本片段。
• 在 RNLI 数据上应用对比后训练，以学习捕捉跨领域方面-意见和方面-实体依赖关系的表示。
• 利用 NLI 模型的预测结果将结果迁移至 ABSA 标签空间：蕴含关系对应 AE（B/I/O），蕴含关系对应 ASC（正面/负面/中性），E2E ABSA 则结合多个预测结果。
• 在后训练过程中采用对比学习目标，通过区分正确方面-意见关系与错误或非方面片段，提升泛化能力。
• 采用统一的 BART 基架构，通过在 RNLI 上进行对比后训练进行微调，以支持所有三种 ABSA 任务的零样本推理。

实验结果

研究问题

• RQ1 统一模型是否能在目标领域无任何人工标注数据的情况下，实现零样本方面抽取（AE）？
• RQ2 是否可以通过基于 NLI 的推理，在无需任务特定微调的情况下实现零样本方面情感分类（ASC）？
• RQ3 是否可以仅使用基于规则筛选的 NLI 数据，而非人工标注的 ABSA 示例，实现端到端 ABSA 的零样本推理？
• RQ4 与标准后训练或在人工标注 NLI 数据集上微调相比，基于规则的 RNLI 数据上的对比后训练效果如何？

主要发现

• CORN 在方面抽取（AE）和端到端 ABSA（E2E）任务上均优于所有基线模型，在未使用任何人工标注 ABSA 数据的情况下实现了最高的 F1 分数。
• 在 AE 任务上，CORN 的召回率高于微调 MNLI 的模型（BART+MNLI），表明即使采用基于规则的 RNLI 筛选，其对方面术语的覆盖范围更优。
• CORN 在 ASC 任务上的表现与微调 MNLI 的模型（BART+MNLI）相当，准确率和宏 F1 值相近，证明了基于规则的 RNLI 在情感分类任务中的有效性。
• 在 RNLI 上进行对比后训练带来了显著的性能提升：CORN 优于 BART+CE+RNLI，验证了对比目标的有效性。
• 在领域特定 RNLI 数据上进行后训练，使 E2E ABSA 性能相比预训练模型至少提升 6.3%，凸显了领域适应的重要性。
• 定性分析显示，CORN 正确识别出 'Windows 8' 为方面并赋予中性情感，而 BART+MNLI 错过了 '8'，BERT+PT 则错误分类情感，凸显了 CORN 的鲁棒性。