[论文解读] PyABSA: A Modularized Framework for Reproducible Aspect-based Sentiment Analysis

Heng Yang, Ke Li+1 more|arXiv (Cornell University)|Aug 2, 2022

Sentiment Analysis and Opinion Mining被引用 9

一句话总结

PyABSA 是一个基于 PyTorch 的模块化框架，通过支持 29 种模型和 26 个数据集，在三个子任务（方面术语抽取 ATE、方面情感分类 ASC、端到端 ABSA E2EABSA）中实现了可复现的方面级情感分析（ABSA）。它通过极简代码简化了模型训练、评估和推理，同时提供内置的数据增强和标注工具，以应对数据稀缺问题，平均提升模型准确率 1–3%。

ABSTRACT

The advancement of aspect-based sentiment analysis (ABSA) has urged the lack of a user-friendly framework that can largely lower the difficulty of reproducing state-of-the-art ABSA performance, especially for beginners. To meet the demand, we present \our, a modularized framework built on PyTorch for reproducible ABSA. To facilitate ABSA research, PyABSA supports several ABSA subtasks, including aspect term extraction, aspect sentiment classification, and end-to-end aspect-based sentiment analysis. Concretely, PyABSA integrates 29 models and 26 datasets. With just a few lines of code, the result of a model on a specific dataset can be reproduced. With a modularized design, PyABSA can also be flexibly extended to considered models, datasets, and other related tasks. Besides, PyABSA highlights its data augmentation and annotation features, which significantly address data scarcity. All are welcome to have a try at \url{https://github.com/yangheng95/PyABSA}.

研究动机与目标

• 为解决由于模型架构和优化策略多样化而导致的最先进 ABSA 结果难以复现的问题。
• 通过仅需极少代码即可快速复现模型结果，降低 ABSA 研究初学者的入门门槛。
• 提供一个灵活、模块化的框架，可轻松扩展至新模型、新数据集及相关任务。
• 通过自动化数据增强缓解 ABSA 中的数据稀缺问题，每数据集可生成超过 20 万条额外样本。
• 通过集成的数据标注界面支持社区贡献，促进自定义数据集的共建。

提出的方法

• PyABSA 实现了包含五个核心组件的模块化架构：模板类、配置管理器、数据集管理器、指标可视化器和检查点管理器，以支持可扩展性。
• 支持 29 种预训练及自定义模型，涵盖 BERT 基础、注意力机制和图神经网络等架构，并与 HuggingFace Transformers 兼容。
• 通过标准化 API，仅需几行代码即可实现 ATE、ASC 和 E2EABSA 子任务的端到端训练、评估和推理。
• 内置面向 ABSA 的数据增强器可生成合成样本，将数据集规模扩大至多 20 万条以上，平均提升模型准确率 1–3%。
• 内置的指标可视化系统可自动生成轨迹图、箱线图、小提琴图、散点图以及显著性检验图（如 Scott-Knot 检验、A12效应量），用于性能对比。
• 标注界面允许用户贡献新数据集，推动社区驱动的数据扩展。

实验结果

研究问题

• RQ1 模块化框架是否能显著降低在方面级情感分析中复现最先进结果所需的努力？
• RQ2 在低资源 ABSA 场景下，自动化数据增强在多大程度上能提升模型性能？
• RQ3 统一框架在支持多种 ABSA 子任务中多样化模型架构和优化策略方面的有效性如何？
• RQ4 标准化且可扩展的框架是否能提升初学者在 ABSA 研究中的可及性？
• RQ5 内置的指标可视化如何支持在不同配置下公平且透明的模型比较？

主要发现

• PyABSA 仅需几行代码即可在任意支持的数据集上复现模型结果，显著降低了初学者的入门门槛。
• 该框架支持 ATE、ASC 和 E2EABSA 子任务中的 29 种模型和 26 个数据集，对 BERT 及其他 HuggingFace 模型具有完整兼容性。
• 通过内置增强器进行数据增强，可使每个数据集的规模扩大至多 20 万条以上，平均提升模型准确率 1–3%。
• 指标可视化系统可自动生成全面的图表（轨迹图、箱线图、小提琴图、散点图、Scott-Knot 检验、A12 效应量），实现客观的性能对比。
• 训练好的模型检查点可通过 Hugging Face Model Hub 获取，确保所有实验的完全可复现性。
• 模块化设计允许通过极少代码更改，灵活扩展至新模型、新数据集和新任务。