[论文解读] Study on Feature Subspace of Archetypal Emotions for Speech Emotion Recognition

Xi Ma, Zhiyong Wu+4 more|arXiv (Cornell University)|Nov 17, 2016

Emotion and Mood Recognition参考文献 10被引用 3

一句话总结

本文提出一种分而治之的方法用于语音情感识别，通过构建针对情感对的特征子空间，在每个子空间上训练二元分类器，并通过投票机制整合结果。该方法在全局特征空间上的传统多分类方法中显著提升了准确率，表明针对情感的子空间能更好地捕捉不同情感对之间的判别性特征。

ABSTRACT

Feature subspace selection is an important part in speech emotion recognition. Most of the studies are devoted to finding a feature subspace for representing all emotions. However, some studies have indicated that the features associated with different emotions are not exactly the same. Hence, traditional methods may fail to distinguish some of the emotions with just one global feature subspace. In this work, we propose a new divide and conquer idea to solve the problem. First, the feature subspaces are constructed for all the combinations of every two different emotions (emotion-pair). Bi-classifiers are then trained on these feature subspaces respectively. The final emotion recognition result is derived by the voting and competition method. Experimental results demonstrate that the proposed method can get better results than the traditional multi-classification method.

研究动机与目标

• 为解决全局特征子空间在区分具有显著声学特征差异的情感时的局限性。
• 探究针对情感的特征子空间是否能提升语音情感识别中的分类性能。
• 开发一种可扩展的分而治之框架，将多分类情感识别问题转化为一系列二元分类问题。
• 验证该方法在不同特征选择与变换技术下的有效性。

提出的方法

• 为每对典型情感（如愤怒 vs. 幸福）构建专门的特征子空间，而非使用单一全局子空间。
• 应用特征选择（如遗传算法）或特征空间变换（如神经网络）以识别每对情感中最具有判别性的特征。
• 在每个针对情感对的特征子空间上训练二元分类器（如逻辑回归、SVM、神经网络）。
• 通过投票与竞争机制整合各个二元分类的决策，以确定最终的情感标签。
• 确保所有子空间均包含50个特征，以与全局特征空间进行公平比较。
• 使用语音段级别的低层级声学描述符（如MFCC、F0、能量、过零率）及其一阶差分系数与统计函数。

实验结果

研究问题

• RQ1 与单一全局特征子空间相比，针对情感对的特征子空间是否能提升语音情感识别性能？
• RQ2 所提出方法的性能与使用相同全局特征空间的传统多分类方法相比如何？
• RQ3 当使用特征空间变换而非特征子集选择时，分而治之策略是否依然有效？
• RQ4 不同情感对的特征子空间与全局特征子空间之间的重叠程度如何？
• RQ5 该方法是否能在不同分类器与特征工程方法之间保持泛化能力？

主要发现

• 所提出的“二分类与投票”方法在使用逻辑回归时达到0.735的识别准确率，显著高于传统多分类方法的0.653（p < 0.05）。
• 使用SVM时，所提出方法达到0.625的准确率，而多分类基线仅为0.513，证实了统计上的显著改进。
• 该方法在所有情感类别（包括愤怒、无聊、幸福、悲伤和恐惧）上均优于全局特征空间基线，且识别率提升稳定。
• 任意一对情感特定子空间与全局特征子空间之间的共享特征数仅为5个或更少，表明存在显著的结构差异，验证了为情感对定制子空间的必要性。
• 当使用基于神经网络的特征空间变换时，该方法仍保持有效性，准确率达到0.652，优于全局方法的0.552，证实其在不同特征工程策略下的通用性。