[论文解读] Visual Response to Emotional State of User Interaction

Nina Marhamati, Sena Clara Creston|arXiv (Cornell University)|Mar 27, 2023

Emotion and Mood RecognitionPsychology被引用 3

一句话总结

本文提出了一种名为 'Mood spRing' 的互动式人工智能艺术装置，通过融合文本与音频输入检测用户的情绪状态，并将其实时转化为反映季节情绪的3D视觉响应。该系统结合 BERT、yamnet/VGGish 嵌入表示与一种公平性感知的决策融合模型，有效降低性别偏见，并根据感知到的情绪效价动态控制沉浸式动画。

ABSTRACT

This work proposes an interactive art installation "Mood spRing" designed to reflect the mood of the environment through interpretation of language and tone. Mood spRing consists of an AI program that controls an immersive 3D animation of the seasons. If the AI program perceives the language and tone of the users as pleasant, the animation progresses through idealized renditions of seasons. Otherwise, it slips into unpleasant weather and natural disasters of the season. To interpret the language and tone of the user interaction, hybrid state-of-the-art emotion detection methods are applied to the user audio and text inputs. The emotional states detected separately from tone and language are fused by a novel approach that aims at minimizing the possible model disparity across diverse demographic groups.

研究动机与目标

• 设计一种互动艺术装置，通过动态的、与季节相关的3D动画反映用户的情绪状态。
• 通过融合文本与音频输入，解决单模态情绪检测的局限性，实现更稳健、更可靠的情绪推断。
• 通过一种新颖的公平性感知决策融合机制，减少情绪检测中的人口统计偏见（尤其是性别偏见）。
• 通过让用户实时体验其语言与语调的视觉后果，促进情绪自我觉察与同理心。
• 开发一种可泛化的、面向所有用户的AI方法，支持交互系统中跨文化与跨人口群体的情绪响应能力。

提出的方法

• 利用 BERT 进行文本嵌入的迁移学习，以及 yamnet/VGGish 进行音频嵌入，从用户输入中提取高层次情绪特征。
• 在提取的特征（如 MFCC、TF-IDF）上应用轻量级分类器（SVM、KNN 和朴素贝叶斯），实现实时情绪检测。
• 采用一种新颖的决策融合策略，使用带有基于伯恩斯坦界公平性损失函数的小型全连接神经网络，以最小化不同人口群体间的偏见。
• 将检测到的情绪映射到 Russell 的环形模型，将六种基本情绪简化为两个类别：愉悦与不愉悦，以增强跨文化通用性。
• 将预测的情绪效价与置信度转化为视觉参数，如动画时间、亮度与天气过渡（例如，从春天过渡到风暴）。
• 扩展框架以支持视觉输入融合，但当前实现聚焦于音频与文本模态。

实验结果

研究问题

• RQ1 如何通过文本与音频的多模态情绪检测提升交互式AI系统中情绪状态推断的可靠性与鲁棒性？
• RQ2 与标准集成方法相比，公平性感知的决策融合模型在多大程度上能减少情绪检测中的性别与人口统计偏见？
• RQ3 基于 Russell 环形模型的简化情绪分类（愉悦 vs. 不愉悦）是否能增强AI驱动艺术装置的跨文化通用性？
• RQ4 情绪状态的实时视觉反馈在多大程度上影响用户在人机交互中的自我觉察与行为模式？
• RQ5 置信度分数与情绪效价对在响应式艺术环境中控制沉浸式视觉动画有何影响？

主要发现

• 所提出的公平性感知决策融合模型通过基于伯恩斯坦界优化损失函数，成功降低了情绪检测中的性别偏见。
• 融合文本与音频情绪检测结果可提升整体检测可靠性，尤其在低资源或模糊输入场景下表现更优。
• 基于 Russell 环形模型的愉悦/不愉悦分类显著增强了跨文化适用性，并减少了不同人口群体间模型差异。
• 通过动态3D动画实现的实时视觉反馈能有效传达情绪效价，动画过渡（如从春天到风暴）作为直观的非语言线索，反映用户语调与语言特征。
• 将置信度水平整合到视觉参数（如亮度）中，为用户提供系统确定性的即时、可感知反馈，从而增强参与感与信任度。
• 该系统在轻量级模型下实现实时运行，证明其可在标准移动与桌面平台部署，具备广泛可及性。