[论文解读] Refashioning Emotion Recognition Modelling: The Advent of Generalised Large Models

Zixing Zhang, Liyizhe Peng+4 more|arXiv (Cornell University)|Aug 21, 2023

Sentiment Analysis and Opinion Mining被引用 5

一句话总结

本文提出了一种从专用情感识别模型到通用大语言模型（LLMs）的范式转变，表明通过利用海量预训练数据和上下文理解能力，LLMs 在少数情感分类任务中表现出更优性能。该研究在七个数据集上评估了领先的 LLMs，结果表明其在泛化能力、可解释性以及上下文感知情感检测方面优于以往的最先进模型。

ABSTRACT

After the inception of emotion recognition or affective computing, it has increasingly become an active research topic due to its broad applications. Over the past couple of decades, emotion recognition models have gradually migrated from statistically shallow models to neural network-based deep models, which can significantly boost the performance of emotion recognition models and consistently achieve the best results on different benchmarks. Therefore, in recent years, deep models have always been considered the first option for emotion recognition. However, the debut of large language models (LLMs), such as ChatGPT, has remarkably astonished the world due to their emerged capabilities of zero/few-shot learning, in-context learning, chain-of-thought, and others that are never shown in previous deep models. In the present paper, we comprehensively investigate how the LLMs perform in emotion recognition in terms of diverse aspects, including in-context learning, few-short learning, accuracy, generalisation, and explanation. Moreover, we offer some insights and pose other potential challenges, hoping to ignite broader discussions about enhancing emotion recognition in the new era of advanced and generalised large models.

研究动机与目标

• 探究大语言模型（LLMs）是否能在情感和情感分类任务中超越专用情感识别模型。
• 评估 LLMs 在多样化数据集上的泛化能力，特别是对代表性不足的情感类别。
• 研究上下文在基于 LLM 的情感识别中的作用及其对预测准确率的影响。
• 识别部署 LLMs 于情感计算中的关键挑战，包括隐私泄露和计算资源限制。
• 提出未来基于 LLM 的情感识别系统中整合多模态输入、模型压缩和隐私保护技术的研究路线图。

提出的方法

• 在七个情感与情感识别基准数据集上评估三种领先的大语言模型（如 GPT-4）的表现。
• 将 LLM 的性能与最先进专用模型进行对比，以评估其泛化能力和准确率的提升。
• 分析 LLM 预测中对上下文的利用情况，以理解上下文线索如何增强情感估计。
• 调查 LLM 中的隐私风险，包括推理过程中无意泄露人口统计信息。
• 探索量化等模型压缩技术，以减少内存占用和延迟，从而实现在资源受限设备上的部署。
• 考察多模态融合策略，包括视觉和语音模型，以增强仅基于文本输入的情感识别能力。

实验结果

研究问题

• RQ1 通用大语言模型是否能在多样化数据集上实现优于专用模型的情感识别性能？
• RQ2 LLMs 在多大程度上利用上下文信息来提升情感分类，特别是对罕见或少数情感类别？
• RQ3 在情感计算中部署 LLMs 时，与无意信息泄露相关的隐私风险是什么？
• RQ4 如何应用模型压缩技术使 LLMs 在资源受限的硬件上实现本地化、设备端的情感识别？
• RQ5 在大规模模型中，融合多模态信号（文本、图像、语音）以实现整体情感理解的最有效策略是什么？

主要发现

• LLMs 在情感识别任务中表现出更优性能，尤其在识别少数情感类别方面，这得益于其广泛预训练数据的暴露。
• 这些模型展现出强大的泛化能力，在未针对情感识别进行微调的情况下，仍优于多个基准数据集上的专用模型。
• 上下文理解显著提升了情感估计的准确性，LLMs 在提供更长或更丰富的文本上下文时表现出更高的预测准确率。
• 在评估的四个 LLM 中，存在无意泄露人口统计信息（如年龄、性别、地理位置）的情况，凸显了情感计算应用中的隐私风险。
• 模型压缩技术（如量化）对于减少内存占用和延迟至关重要，有助于在移动设备和边缘设备上实现部署。
• 多模态大模型（如支持视觉输入的 GPT-4）在整合文本、图像及其他模态方面展现出实现整体情感理解的强大潜力。