[论文解读] Using GPT-2 to Create Synthetic Data to Improve the Prediction Performance of NLP Machine Learning Classification Models

Dewayne Whitfield|arXiv (Cornell University)|Apr 2, 2021

Oil and Gas Production Techniques被引用 8

一句话总结

本文提出使用微调后的 GPT-2 生成合成文本数据，以提升 NLP 文本分类模型的性能。通过在 Yelp 披萨评论数据集上微调 GPT-2，并将生成的合成评论与真实数据结合，研究结果表明，与仅使用真实数据训练的基线模型相比，该方法在模型准确率和精确率方面均有显著提升。

ABSTRACT

Classification Models use input data to predict the likelihood that the subsequent input data will fall into predetermined categories. To perform effective classifications, these models require large datasets for training. It is becoming common practice to utilize synthetic data to boost the performance of Machine Learning Models. It is reported that Shell is using synthetic data to build models to detect problems that rarely occur; for example Shell created synthetic data to help models to identify deteriorating oil lines. It is common practice for Machine Learning Practitioners to generate synthetic data by rotating, flipping, and cropping images to increase the volume of image data to train Convolutional Neural Networks. The purpose of this paper is to explore creating and utilizing synthetic NLP data to improve the performance of Natural Language Processing Machine Learning Classification Models. In this paper I used a Yelp pizza restaurant reviews dataset and transfer learning to fine-tune a pre-trained GPT-2 Transformer Model to generate synthetic pizza reviews data. I then combined this synthetic data with the original genuine data to create a new joint dataset. The new combined model significantly outperformed the original model in accuracy and precision.

研究动机与目标

• 探究由 GPT-2 生成的合成文本数据是否能够提升 NLP 分类模型的性能。
• 评估在低资源或类别不平衡的 NLP 分类场景下，合成数据增强的有效性。
• 展示一种利用 GPT-2 进行迁移学习生成多样化、逼真合成文本的实用方法。
• 比较仅使用真实数据与使用真实-合成数据组合在文本分类任务中的模型性能。

提出的方法

• 在真实 Yelp 披萨评论数据集上微调预训练的 GPT-2 语言模型，以使其能够生成领域特定的合成评论。
• 使用微调后的 GPT-2 模型生成大量逼真、类人的评论，用于数据增强。
• 将生成的合成评论与原始真实评论结合，形成联合训练数据集。
• 使用标准 NLP 训练流程，在联合的真实-合成数据集上重新训练下游文本分类模型。
• 使用标准指标（如准确率和精确率）在保留的测试集上评估模型性能。

实验结果

研究问题

• RQ1 由 GPT-2 生成的合成文本数据能否提升 NLP 分类模型的预测性能？
• RQ2 在真实与合成数据上训练的模型性能，与仅在真实数据上训练的模型相比如何？
• RQ3 通过 GPT-2 生成的文本进行数据增强，在多大程度上提升了模型的泛化能力和鲁棒性？
• RQ4 合成数据对文本分类任务中的精确率和召回率有何影响？

主要发现

• 在真实-合成数据联合数据集上训练的模型，其准确率显著高于仅在真实数据上训练的基线模型。
• 联合模型表现出更高的精确率，表明其在测试集上的分类结果更具可靠性。
• 合成数据有效增加了训练样本的多样性与数量，同时未引入噪声或分布偏移。
• 结果表明，GPT-2 能够生成合理且与任务相关的文本，从而提升下游模型的性能。