[论文解读] Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis

Juhua Liu, Qihuang Zhong+4 more|arXiv (Cornell University)|Oct 26, 2021

Sentiment Analysis and Opinion Mining参考文献 39被引用 5

一句话总结

本文提出UIKA，一种用于方面级情感分析（ABSA）的统一实例与知识对齐预训练框架，可缓解预训练与下游数据集之间的领域差异。通过采用从粗到细的检索方法实现实例对齐，并结合教师-学生知识蒸馏策略实现知识对齐，UIKA在多个ABSA基准上显著提升性能，在Yelp数据集上微调时准确率最高提升+5.12%，F1值最高提升+5.05%。

ABSTRACT

Aspect-based Sentiment Analysis (ABSA) aims to determine the sentiment polarity towards an aspect. Because of the expensive and limited labelled data, the pretraining strategy has become the de-facto standard for ABSA. However, there always exists severe domain shift between the pretraining and downstream ABSA datasets, hindering the effective knowledge transfer when directly finetuning and making the downstream task performs sub-optimal. To mitigate such domain shift, we introduce a unified alignment pretraining framework into the vanilla pretrain-finetune pipeline with both instance- and knowledge-level alignments. Specifically, we first devise a novel coarse-to-fine retrieval sampling approach to select target domain-related instances from the large-scale pretraining dataset, thus aligning the instances between pretraining and target domains (First Stage). Then, we introduce a knowledge guidance-based strategy to further bridge the domain gap at the knowledge level. In practice, we formulate the model pretrained on the sampled instances into a knowledge guidance model and a learner model, respectively. On the target dataset, we design an on-the-fly teacher-student joint fine-tuning approach to progressively transfer the knowledge from the knowledge guidance model to the learner model (Second Stage). Thereby, the learner model can maintain more domain-invariant knowledge when learning new knowledge from the target dataset. In the Third Stage, the learner model is finetuned to better adapt its learned knowledge to the target dataset. Extensive experiments and analyses on several ABSA benchmarks demonstrate the effectiveness and universality of our proposed pretraining framework. Our source code and models are publicly available at https://github.com/WHU-ZQH/UIKA.

研究动机与目标

• 为缓解通用预训练数据集与下游ABSA数据集之间严重的领域差异，该差异阻碍了有效知识迁移。
• 通过在预训练过程中对齐实例与知识，提升ABSA模型的性能。
• 开发一种稳健的即插即用式预训练框架，无需架构修改即可增强现有ABSA模型。
• 在多样化的预训练与下游数据集上，验证所提方法的通用性与有效性。

提出的方法

• 提出三阶段框架：(1) 采用从粗到细的检索方法，从大规模预训练数据中筛选出与领域相关的实例，实现实例对齐。
• 在第二阶段引入基于知识引导的策略，其中预训练模型作为教师，通过实时联合微调指导学生模型，促进领域不变知识的学习。
• 采用知识蒸馏机制，逐步将教师模型（知识引导模型）的鲁棒表征迁移至学生模型。
• 在第三阶段使用蒸馏后的学生模型在目标ABSA数据集上进行最终微调，以适应特定任务模式。
• 利用大规模通用预训练数据（如Amazon、Yelp）来为低资源ABSA任务构建领域感知表征。

实验结果

研究问题

• RQ1 预训练数据集与目标ABSA数据集之间的实例级对齐是否能提升下游性能？
• RQ2 通过知识蒸馏实现的知识级对齐是否能减少ABSA中的领域差异并增强模型泛化能力？
• RQ3 所提出的UIKA框架在多样化ABSA数据集与预训练数据源上的表现如何？
• RQ4 UIKA框架对预训练数据的变化是否具有鲁棒性，例如在不同领域（如Amazon与Yelp）之间？

主要发现

• 在Yelp数据集上微调时，UIKA在准确率上最高提升+5.12%，F1值最高提升+5.05%，优于基线模型。
• 在Laptop14数据集上，当在Amazon数据上预训练时，UIKA使ASGCN基线模型的准确率提升+3.82%，F1值提升+5.00%。
• 该框架在多个模型（GCAE、ATAE、ASGCN）与数据集上均表现出一致的性能增益，表明其具有强大的通用性与迁移能力。
• 在Amazon与Yelp两个数据集上同时进行预训练，相比单一数据源可获得更高的性能增益，尽管计算成本更高。
• 该框架对预训练数据的选择具有鲁棒性，当预训练数据与目标数据集领域更相似时性能更优（如Amazon预训练用于Laptop14，Yelp预训练用于Restaurant14）。