[论文解读] Will Affective Computing Emerge from Foundation Models and General AI? A First Evaluation on ChatGPT

Mostafa M. Amin, Erik Cambria+1 more|arXiv (Cornell University)|Mar 3, 2023

Mental Health via Writing被引用 36

一句话总结

本论文评估 ChatGPT 在三项情感计算文本分类任务中的能力（大五人格预测、情感分析和自杀倾向检测），并将其性能与三种专门基线（RoBERTa、Word2Vec、BoW）进行比较，结果显示 ChatGPT 是一个有能力的通才，但通常不及针对任务的模型，尤其是 RoBERTa。

ABSTRACT

ChatGPT has shown the potential of emerging general artificial intelligence capabilities, as it has demonstrated competent performance across many natural language processing tasks. In this work, we evaluate the capabilities of ChatGPT to perform text classification on three affective computing problems, namely, big-five personality prediction, sentiment analysis, and suicide tendency detection. We utilise three baselines, a robust language model (RoBERTa-base), a legacy word model with pretrained embeddings (Word2Vec), and a simple bag-of-words baseline (BoW). Results show that the RoBERTa trained for a specific downstream task generally has a superior performance. On the other hand, ChatGPT provides decent results, and is relatively comparable to the Word2Vec and BoW baselines. ChatGPT further shows robustness against noisy data, where Word2Vec models achieve worse results due to noise. Results indicate that ChatGPT is a good generalist model that is capable of achieving good results across various problems without any specialised training, however, it is not as good as a specialised model for a downstream task.

研究动机与目标

• 评估像 ChatGPT 这样的基础模型在无需任务特定训练的情况下，是否能够充分显现以解决情感计算分类任务。
• 提供一个框架，用于在情感计算的下游自然语言处理任务中评估 ChatGPT。
• 将 ChatGPT 与专门的基线进行比较，以量化通才能力与任务特定性能之差异。

提出的方法

• 使用对应于这三项任务的三个数据集：大五人格预测、情感分析和自杀倾向检测。
• 将 ChatGPT 与三种基线进行比较：RoBERTa-base、带 SVM 的 Word2Vec，以及 BoW 结合 SVM。
• 为每个测试样本构建明确的提示，以查询 ChatGPT，并通过正则表达式解析回答。
• 使用准确率和未加权平均召回率（UAR）进行标准化评估，并采用置换检验来检验显著性。
• 在开发集上使用 SMAC 贝叶斯优化对基线的超参数进行调优。
• 以跨任务的准确率和 UAR 报告结果。

实验结果

研究问题

• RQ1 ChatGPT 是否在无需任务特定微调的情况下对下游情感计算任务展现出完全的出现？
• RQ2 在人格、情感和自杀检测方面，ChatGPT 与鲁棒的基线变换器 RoBERTa 以及简单基线 Word2Vec、BoW 的性能对比如何？
• RQ3 相较于 Word2Vec 基线，ChatGPT 在情感计算任务中对嘈杂数据是否更鲁棒？
• RQ4 在研究设置中对 NLP 任务进行系统性评估时，使用 ChatGPT 存在的局限性是什么？

主要发现

• ChatGPT 在针对特定下游任务进行微调时通常不及 RoBERTa。
• 在三项任务中，ChatGPT 在情感分析上表现最佳，并且与简单基线具备竞争力，但在许多情况下并不优于 RoBERTa 或 Word2Vec。
• RoBERTa 常常达到最高准确率，尤其是在人格和自杀检测任务中。
• ChatGPT 对噪声具有鲁棒性，而 Word2Vec 在嘈杂的 Twitter 情感数据中表现较差。
• 统计检验（置换检验）显示，与 BoW 相比，许多 ChatGPT 的差异在多任务上并不显著。