[论文解读] The Good, The Bad, and Why: Unveiling Emotions in Generative AI

Cheng Li, Jindong Wang+8 more|arXiv (Cornell University)|Dec 18, 2023

Topic Modeling被引用 7

一句话总结

本文提出了 EmotionPrompt、EmotionAttack 和 EmotionDecode，以探究生成式人工智能模型中的情感理解。通过将心理学理论应用于文本和视觉提示，研究发现情感刺激可增强或损害模型性能，而 EmotionDecode 揭示了人工智能内部处理情感的方式，类似于大脑中的多巴胺机制。

ABSTRACT

Emotion significantly impacts our daily behaviors and interactions. While recent generative AI models, such as large language models, have shown impressive performance in various tasks, it remains unclear whether they truly comprehend emotions. This paper aims to address this gap by incorporating psychological theories to gain a holistic understanding of emotions in generative AI models. Specifically, we propose three approaches: 1) EmotionPrompt to enhance AI model performance, 2) EmotionAttack to impair AI model performance, and 3) EmotionDecode to explain the effects of emotional stimuli, both benign and malignant. Through extensive experiments involving language and multi-modal models on semantic understanding, logical reasoning, and generation tasks, we demonstrate that both textual and visual EmotionPrompt can boost the performance of AI models while EmotionAttack can hinder it. Additionally, EmotionDecode reveals that AI models can comprehend emotional stimuli akin to the mechanism of dopamine in the human brain. Our work heralds a novel avenue for exploring psychology to enhance our understanding of generative AI models.

研究动机与目标

• 探究生成式人工智能模型是否真正理解情感，尽管其在任务中表现强劲。
• 弥补对情感如何影响人工智能行为，尤其是在人机交互中理解的空白。
• 开发系统化方法，通过心理学框架探究情感对人工智能的影响。
• 通过理解模型行为中的情感机制，实现更佳、更具同理心的人工智能系统。

提出的方法

• 提出 EmotionPrompt，一种基于心理学理论（如马斯洛需求层次理论、社会认知理论）的文本和视觉提示技术，以提升人工智能性能。
• 设计 EmotionAttack，包含 36 种文本攻击类型和 6 种视觉攻击类型，具有不同的情感唤醒水平（如愤怒、恐惧、快乐），用于降低模型性能。
• 开发 EmotionDecode，一种通过神经科学和心理学视角分析内部表征，以解释情感刺激对人工智能影响的方法。
• 收集了 21 种文本 EmotionPrompt 变体和 25 种视觉提示（5 种类型 × 每类 5 张图像），以及 36 种文本 EmotionAttack 变体，并在零样本和少样本设置下进行测试。
• 将这些方法应用于开源和专有模型，在语义理解、逻辑推理和开放式生成任务中进行测试。
• 执行了 940,200 次自动化评估，并开展一项包含 106 名参与者的基于人类受试者的研究，针对 30 个开放式问题验证定性输出。

Figure 1 : An overview of our research on unveiling emotions in generative AI models. (a) We proposed EmotionPrompt and EmotionAttack to increase and impair AI model performance, respectively. (b) We designed EmotionDecode to explain how emotional prompts work in AI models.

实验结果

研究问题

• RQ1 情感刺激（包括积极和消极情绪）是否能系统性地提升或降低生成式人工智能模型的性能？
• RQ2 不同情绪状态（如快乐、愤怒、恐惧）如何影响人工智能的推理和生成能力？
• RQ3 心理学理论在多大程度上可以解释人工智能模型中情感影响的机制？
• RQ4 我们能否解码情感提示在生成模型内部层中的表征与处理方式？
• RQ5 人工智能模型是否以类似于人类神经生物学机制（如多巴胺驱动的奖励反应）的方式处理情感刺激？

主要发现

• EmotionPrompt 显著提升了模型在语义理解和逻辑推理任务中的性能，在基准评估中表现出可测量的提升。
• EmotionAttack 在多个任务中成功降低了模型性能，证明情感刺激可损害推理和生成质量。
• EmotionDecode 揭示了人工智能模型以类似于人类大脑中多巴胺驱动的情感处理方式编码情感刺激。
• 在多模态设置中，视觉 EmotionPrompt 的表现优于仅使用文本的提示，表明视觉情感线索可增强模型参与度。
• 人类评估确认，EmotionPrompt 生成的回应比基线提示更具细微性、上下文感知性，并更具同理心。
• 本研究证明，情感语境是影响人工智能输出质量的关键因素，其影响取决于情感基调，可能产生有益或有害效果。

Figure 2 : (a) The main results of textual and visual EmotionPrompt and EmotionAttack on generative AI models. (b) Results of EmotionDecode. The color represents the performance of stimulus on diverse tasks across Llama-2 and GPT-4. Red means better performance, while blue means weaker performance.