[论文解读] Optimizing Speech Emotion Recognition using Manta-Ray Based Feature Selection

Soham Chattopadhyay, Arijit Dey+1 more|arXiv (Cornell University)|Sep 18, 2020

Speech and Audio Processing被引用 8

一句话总结

该论文提出了一种新颖的语音情感识别框架，结合梅尔频率倒谱系数（MFCC）与线性预测编码（LPC）特征，并采用枪鱼鱼群觅食优化（MFO）进行特征选择。该方法在SAVEE数据集上达到97.49%的最先进准确率，在Emo-DB数据集上达到97.68%的准确率，采用MLP分类器，通过优化后的非冗余特征子集展现出卓越性能。

ABSTRACT

Emotion recognition from audio signals has been regarded as a challenging task in signal processing as it can be considered as a collection of static and dynamic classification tasks. Recognition of emotions from speech data has been heavily relied upon end-to-end feature extraction and classification using machine learning models, though the absence of feature selection and optimization have restrained the performance of these methods. Recent studies have shown that Mel Frequency Cepstral Coefficients (MFCC) have been emerged as one of the most relied feature extraction methods, though it circumscribes the accuracy of classification with a very small feature dimension. In this paper, we propose that the concatenation of features, extracted by using different existing feature extraction methods can not only boost the classification accuracy but also expands the possibility of efficient feature selection. We have used Linear Predictive Coding (LPC) apart from the MFCC feature extraction method, before feature merging. Besides, we have performed a novel application of Manta Ray optimization in speech emotion recognition tasks that resulted in a state-of-the-art result in this field. We have evaluated the performance of our model using SAVEE and Emo-DB, two publicly available datasets. Our proposed method outperformed all the existing methods in speech emotion analysis and resulted in a decent result in these two datasets with a classification accuracy of 97.06% and 97.68% respectively.

研究动机与目标

• 为解决语音情感识别（SER）中冗余和次优特征的问题，通过整合多种特征提取方法。
• 通过应用一种新型生物启发式优化算法——枪鱼鱼群觅食优化（MFO），选择最具判别性的特征，以提高分类准确率。
• 在标准公开数据集（SAVEE和Emo-DB）上验证所提方法，并与现有最先进方法进行性能比较。
• 探索混合特征表示（MFCC + LPC）结合元启发式优化在提升SER性能方面的有效性。
• 评估模型在不同分类器（KNN和MLP）及数据集上的鲁棒性与泛化能力。

提出的方法

• 该方法首先对音频信号进行预处理，并从语音信号中提取MFCC和LPC特征，以形成综合特征向量。
• 将MFCC和LPC的特征拼接，构成高维初始特征集，以同时捕捉频谱特性和线性预测特性。
• 应用枪鱼鱼群觅食优化（MFO）算法，从拼接后的特征集中选择最相关且非冗余的特征，降低维度的同时保留判别能力。
• 将所选特征输入到具有两层隐藏层（每层5个神经元）的多层感知机（MLP）分类器，以及k=5的KNN分类器，用于对比评估。
• 使用5折交叉验证在SAVEE和Emo-DB数据集上评估模型性能，采用标准指标包括准确率、精确率、召回率和F1分数。
• 将基于MFO的特征选择与遗传算法、粒子群优化和灰狼优化进行对比，以验证其在特征选择效率和准确率方面的优越性。

实验结果

研究问题

• RQ1 MFCC与LPC特征的拼接是否能提升语音情感识别模型的判别能力？
• RQ2 与其它元启发式算法相比，枪鱼鱼群觅食优化（MFO）的应用是否能带来更优的特征选择效果并提高分类准确率？
• RQ3 与现有最先进方法相比，该方法在SAVEE和Emo-DB等标准基准数据集上的表现如何？
• RQ4 在优化后的特征集上，使用MLP分类器与KNN分类器对SER任务性能有何影响？
• RQ5 通过MFO进行特征维度降维，在不牺牲分类准确率的前提下，能在多大程度上提升模型效率？

主要发现

• 所提方法在SAVEE数据集上，使用基于MFO的特征选择与MLP分类器，实现了97.49%的最先进分类准确率。
• 在Emo-DB数据集上，模型实现了97.68%的分类准确率，优于文献中报告的所有现有方法。
• MFO算法从SAVEE数据集中仅选择了43个特征，从Emo-DB数据集中选择了61个特征，显著降低了维度，同时保持了高准确率。
• MLP分类器优于KNN分类器，在Emo-DB数据集上达到97.68%的准确率，在SAVEE数据集上达到97.06%的准确率，且在各折中F1分数和精确率均更高。
• 与其他优化算法相比，MFO在准确率方面表现最优（SAVEE上为97.06%，Emo-DB上为97.68%），且在精确率和召回率方面表现更优，尤其在Emo-DB数据集上优势明显。
• 模型在5折交叉验证的多个折中表现出鲁棒性，准确率、精确率、召回率和F1分数的标准差较低，表明性能稳定一致。