[论文解读] UnifiedABSA: A Unified ABSA Framework Based on Multi-task Instruction Tuning

Zengzhi Wang, Rui Xia+1 more|arXiv (Cornell University)|Nov 20, 2022

Sentiment Analysis and Opinion Mining被引用 5

一句话总结

UnifiedABSA 提出了一种统一的框架，用于基于方面的情感分析（ABSA），通过多任务指令微调，使用特定于任务的自然语言指令对11种不同的ABSA任务进行建模。该方法在显著减少标注数据量的同时，仅需原任务专用模型10%的存储空间，便实现了更优的性能，在低资源设置下平均F1得分比专用模型高出5%。

ABSTRACT

Aspect-Based Sentiment Analysis (ABSA) aims to provide fine-grained aspect-level sentiment information. There are many ABSA tasks, and the current dominant paradigm is to train task-specific models for each task. However, application scenarios of ABSA tasks are often diverse. This solution usually requires a large amount of labeled data from each task to perform excellently. These dedicated models are separately trained and separately predicted, ignoring the relationship between tasks. To tackle these issues, we present UnifiedABSA, a general-purpose ABSA framework based on multi-task instruction tuning, which can uniformly model various tasks and capture the inter-task dependency with multi-task learning. Extensive experiments on two benchmark datasets show that UnifiedABSA can significantly outperform dedicated models on 11 ABSA tasks and show its superiority in terms of data efficiency.

研究动机与目标

• 解决为每个任务单独训练专用ABSA模型所导致的效率低下和知识无法共享的问题，这些模型通常需要大量标注数据。
• 通过多任务学习和指令微调，将多个基于方面的情感分析任务统一到一个通用框架中。
• 通过仅在ACOSQE任务上进行标注，推导出全部11种ABSA任务，从而减少标注和训练开销。
• 通过用一个统一模型替代11个独立模型，降低存储成本，实现可扩展的部署。
• 证明单一统一模型在全监督和低资源设置下均能超越专用模型。

提出的方法

• 将所有ABSA任务表述为基于预训练语言模型（如T5和BART）的条件文本到文本生成问题。
• 设计统一情感指令（USI）作为特定于任务的提示，引导模型根据预定义模板生成结构化输出。
• 仅在ACOSQE标注数据上训练单一模型，通过基于指令的提示方式支持全部11种ABSA任务，避免为每个任务单独微调。
• 采用多任务学习以捕捉任务间的依赖关系，提升在相关任务上的泛化能力。
• 使用单一模型架构处理所有任务，无需架构修改，从而支持新任务的可扩展性。
• 利用自然语言指令的语义丰富性，提升在低资源场景下的零样本和少样本性能。

实验结果

研究问题

• RQ1 一个统一的单一模型能否有效处理11种不同的ABSA任务，并在性能上与专用模型相当或更优？
• RQ2 在低资源ABSA设置下，指令微调在多大程度上提升了数据效率？
• RQ3 与专用模型相比，该统一框架在存储效率和模型可扩展性方面表现如何？
• RQ4 通过多任务学习捕捉任务间依赖关系，是否能在所有任务上带来性能提升？
• RQ5 仅在ACOSQE数据上进行训练的模型，能否在高精度下泛化到所有其他ABSA任务？

主要发现

• 在两个基准数据集上，UnifiedABSA在11种ABSA任务的全监督设置下，平均F1得分比专用模型高出1-2%。
• 在仅使用32个训练样本的低资源设置下，UnifiedABSA相比专用模型平均F1得分提升5%。
• UnifiedABSA仅使用一半的训练数据即可达到与专用模型相当的性能，展现出强大的数据效率。
• 与训练11个独立任务专用模型相比，该框架将存储需求降低了90%以上，具有极高的可扩展性。
• 尽管仅在ACOSQE数据上进行训练，UnifiedABSA在所有数据集和数据设置下均持续优于专用的ACOSQE模型。
• 该模型在全监督和低资源场景下均表现出一致的优越性，验证了其鲁棒性和泛化能力。