[论文解读] Speech Emotion Recognition with Data Augmentation and Layer-wise Learning Rate Adjustment.

Caroline Etienne, Guillaume Fidanza+3 more|arXiv (Cornell University)|Feb 15, 2018

Speech and Audio Processing参考文献 18被引用 16

一句话总结

该论文提出了一种使用原始语谱图的深度学习模型进行语音情感识别，结合卷积和循环层，采用数据增强、逐层权重学习率调整以及批量归一化。在IEMOCAP数据集上，该模型实现了64.5%的加权准确率和61.7%的未加权准确率，同时揭示了模型性能与标注置信度之间存在强烈相关性。

ABSTRACT

In this work, we design a neural network for recognizing emotions in speech, using the standard IEMOCAP dataset. Following the latest advances in audio analysis, we use an architecture involving both convolutional layers, for extracting high-level features from raw spectrograms, and recurrent ones for aggregating long-term dependencies. Applying techniques of data augmentation, layer-wise learning rate adjustment and batch normalization, we obtain highly competitive results, with 64.5% weighted accuracy and 61.7% unweighted accuracy on four emotions. Moreover, we show that the model performance is strongly correlated with the labeling confidence, which highlights a fundamental difficulty in emotion recognition.

研究动机与目标

• 通过在IEMOCAP数据集上使用深度神经网络提升语音情感识别性能。
• 研究数据增强对低资源情感识别中模型泛化能力的影响。
• 通过逐层学习率调整优化训练动态，以实现更好的收敛性。
• 分析模型预测置信度与情感识别性能之间的关系。

提出的方法

• 该模型采用混合架构，利用卷积层从原始语谱图中提取高层特征，利用循环层捕捉长期时间依赖关系。
• 应用数据增强以增加训练数据的多样性，并提升对语音信号变化的鲁棒性。
• 采用逐层学习率调整，为不同网络层分配不同的学习率，以增强训练的稳定性和收敛性。
• 集成批量归一化，通过标准化层输入来稳定并加速训练过程。
• 该模型在标准的IEMOCAP数据集上进行训练和评估，该数据集包含四个情感类别。

实验结果

研究问题

• RQ1 数据增强在语音情感识别的深度学习模型中如何影响性能？
• RQ2 逐层学习率调整在多大程度上提升了训练效率和模型准确率？
• RQ3 预测置信度与实际情感识别性能之间存在何种关系？
• RQ4 混合CNN-RNN架构是否能有效捕捉语音中局部和长期模式以实现情感识别？

主要发现

• 该模型在IEMOCAP数据集上对四个情感类别的加权准确率为64.5%，未加权准确率为61.7%。
• 数据增强显著提升了模型在不同语音样本上的鲁棒性和泛化能力。
• 逐层学习率调整有助于实现更稳定和高效的训练，尤其是在深层网络层中。
• 观察到模型预测置信度与实际性能之间存在强烈相关性，表明高置信度预测更具可靠性。