[论文解读] Optimization Techniques for Sentiment Analysis Based on LLM (GPT-3)

Tong Zhan, Chenxi Shi+3 more|arXiv (Cornell University)|May 16, 2024

Advanced Computing and Algorithms被引用 4

一句话总结

本文研究了微调技术以优化GPT-3在情感分析中的表现，证明微调相比提示工程推理可显著提升性能。研究证实，微调后的GPT-3在情感分类任务中实现了更高的准确率和鲁棒性，为在自然语言处理应用中利用大语言模型提供了实用框架。

ABSTRACT

With the rapid development of natural language processing (NLP) technology, large-scale pre-trained language models such as GPT-3 have become a popular research object in NLP field. This paper aims to explore sentiment analysis optimization techniques based on large pre-trained language models such as GPT-3 to improve model performance and effect and further promote the development of natural language processing (NLP). By introducing the importance of sentiment analysis and the limitations of traditional methods, GPT-3 and Fine-tuning techniques are introduced in this paper, and their applications in sentiment analysis are explained in detail. The experimental results show that the Fine-tuning technique can optimize GPT-3 model and obtain good performance in sentiment analysis task. This study provides an important reference for future sentiment analysis using large-scale language models.

研究动机与目标

• 通过利用像GPT-3这样的大规模预训练语言模型，解决传统情感分析方法的局限性。
• 评估微调技术在提升GPT-3情感分类性能方面的有效性。
• 为在现实世界的情感分析应用中部署优化后的大型语言模型提供实用框架。
• 在情感任务的准确率和鲁棒性方面，对比零样本提示工程推理与微调后的GPT-3。

提出的方法

• 本研究采用GPT-3作为情感分析任务的基础大语言模型。
• 通过微调将GPT-3适配到特定的情感分类数据集。
• 使用学习率调度和小批量训练等标准优化技术，在带标签的情感数据上对模型进行微调。
• 通过标准NLP指标（如准确率、F1值以及精确率/召回率）在基准数据集上评估性能。
• 进行超参数调优，以优化微调过程，提升泛化能力。
• 在零样本提示工程推理与微调后的GPT-3之间进行对比实验。

实验结果

研究问题

• RQ1 与提示工程推理相比，微调在多大程度上提升了GPT-3在情感分析中的表现？
• RQ2 哪些关键超参数会影响微调在情感分类中的有效性？
• RQ3 微调后的GPT-3模型在不同情感数据集上的泛化能力如何？
• RQ4 与标准提示工程相比，微调在情感分析中带来了多大的性能提升？

主要发现

• 与零样本提示相比，微调显著提升了GPT-3在情感分类中的准确率。
• 微调模型在基准情感数据集上实现了更高的F1值，并表现出更好的精确率/召回率。
• 通过仔细调整超参数（尤其是学习率和批量大小）可获得最佳性能。
• 微调后的GPT-3在不同情感分类任务中表现出更强的鲁棒性和一致性。