[论文解读] The Ambiguous World of Emotion Representation

Vidhyasaharan Sethu, Emily Mower Provost+4 more|arXiv (Cornell University)|Sep 1, 2019

Emotion and Mood Recognition参考文献 75被引用 31

一句话总结

本文提出了AMBiguous Emotion Representation（AMBER）框架，这是一种统一的数学形式化方法，明确建模了类别型、数值型和序数型情绪表征——包括人类情绪表达与感知中固有的模糊性。AMBER支持对情绪表征方案的系统性推理，阐明了现有方法中的隐含假设，并支持不同类型表征之间的比较与转换，包括基于聚类或概率映射的维度标签与类别标签之间的转换。

ABSTRACT

Artificial intelligence and machine learning systems have demonstrated huge improvements and human-level parity in a range of activities, including speech recognition, face recognition and speaker verification. However, these diverse tasks share a key commonality that is not true in affective computing: the ground truth information that is inferred can be unambiguously represented. This observation provides some hints as to why affective computing, despite having attracted the attention of researchers for years, may not still be considered a mature field of research. A key reason for this is the lack of a common mathematical framework to describe all the relevant elements of emotion representations. This paper proposes the AMBiguous Emotion Representation (AMBER) framework to address this deficiency. AMBER is a unified framework that explicitly describes categorical, numerical and ordinal representations of emotions, including time varying representations. In addition to explaining the core elements of AMBER, the paper also discusses how some of the commonly employed emotion representation schemes can be viewed through the AMBER framework, and concludes with a discussion of how the proposed framework can be used to reason about current and future affective computing systems.

研究动机与目标

• 解决情感计算中情绪表征描述缺乏统一数学框架的问题。
• 形式化表达传统单值点估计无法捕捉的情绪表达与感知中的固有模糊性。
• 为现有情绪表征方案（包括类别型、维度型和序数型方法）提供一种结构化推理与比较方式。
• 阐明当前方法中隐含的假设，例如对多个标注取平均或使用聚类进行标签转换。
• 支持未来人工智能系统在人机交互中对情绪模糊性进行推理的设计。

提出的方法

• AMBER将情绪表征定义为包含表征类型（类别型、数值型、序数型）、定义域和模糊性函数的结构化数学对象。
• 通过概率分布或置信度度量显式建模模糊性，支持多种可能的情绪状态。
• 通过将核心结构扩展为时间序列或时间函数，支持时变表征。
• 通过分析共享组件（如定义域结构和排序关系）实现表征方案之间的正式比较。
• 提供一种形式化语言以表达不同表征方案之间的映射关系，例如将三维唤醒-愉悦-支配空间转换为类别标签。
• 将已知方案（如软标签、情绪轮廓和混合情绪）整合进其统一结构中，揭示其兼容性与局限性。

实验结果

研究问题

• RQ1 如何正式表征既包含表达又包含感知模糊性的情绪表征？
• RQ2 当前情绪表征方案中的隐含假设是什么，例如对多个标注取平均或在维度标签上使用k-means聚类？
• RQ3 能否使用统一的数学框架系统性地比较类别型、数值型和序数型情绪表征？
• RQ4 使用聚类算法将数值型情绪标签转换为类别型是否合理？该过程隐含了哪些假设？
• RQ5 如何在唤醒-愉悦-支配等维度空间中建模类别标签与聚类之间的关系，而无需引入不合理的度量假设？

主要发现

• AMBER框架能够正式描述情感计算中所有现有情绪表征方案，包括类别型、数值型和序数型。
• 传统方法如对多个标注取平均或在维度标签上使用k-means聚类，依赖于隐含假设（如欧氏距离或正交性），而这些假设并不总是合理。
• 在表征类型之间进行映射（如从三维数值空间转换为类别标签）需要显式建模底层结构，不能假设其保持距离不变或为线性关系。
• 使用软标签或置信度度量作为模糊性表征形式在形式上是被支持的，且比单值真实标签更符合现实。
• 该框架揭示，即使基本操作如对标注取均值或对数值标签进行聚类，也涉及关于度量结构和排序的假设，这些假设应明确陈述。
• AMBER通过使情绪表征的假设显式化，并支持对转换与比较的正式推理，从而支持设计更鲁棒的情感计算系统。