[论文解读] Transfer Learning for Improving Speech Emotion Classification Accuracy

Siddique Latif, Rajib Rana+3 more|arXiv (Cornell University)|Jan 19, 2018

Emotion and Mood Recognition参考文献 28被引用 6

一句话总结

本文提出使用深度置信网络（DBNs）进行迁移学习，以提升跨语料库和跨语言的语音情感识别性能，利用来自多种语言的预训练特征以及少量目标数据。DBNs 显著优于稀疏自编码器和SVM基线模型，即使在目标数据有限或进行多语言训练时也能实现更高的准确率。

ABSTRACT

The majority of existing speech emotion recognition research focuses on automatic emotion detection using training and testing data from same corpus collected under the same conditions. The performance of such systems has been shown to drop significantly in cross-corpus and cross-language scenarios. To address the problem, this paper exploits a transfer learning technique to improve the performance of speech emotion recognition systems that is novel in cross-language and cross-corpus scenarios. Evaluations on five different corpora in three different languages show that Deep Belief Networks (DBNs) offer better accuracy than previous approaches on cross-corpus emotion recognition, relative to a Sparse Autoencoder and SVM baseline system. Results also suggest that using a large number of languages for training and using a small fraction of the target data in training can significantly boost accuracy compared with baseline also for the corpus with limited training examples.

研究动机与目标

• 解决当训练数据和测试数据来自不同语料库或不同语言时语音情感识别性能下降的问题。
• 探究使用DBNs进行迁移学习是否能提升在多样化语音情感数据集上的泛化能力。
• 评估多语言训练以及引入少量目标领域数据对识别准确率的影响。
• 证明DBNs在低资源和跨领域场景下可优于传统模型（如稀疏自编码器和SVM）

提出的方法

• 由于DBNs具备强大的泛化能力和特征学习能力，将其作为主要模型。
• 在来自多个语料库（IEMOCAP、FAU-AIBO、EMO-DB、EMOVO、SAVEE）的大规模数据上训练DBNs，涵盖三种语言（英语、德语、意大利语）。
• 通过在源语料库上预训练DBNs，并在目标语料库上使用少量标注数据进行微调，实现迁移学习。
• 采用2折交叉验证和留一法方案，在不同语料库和语言之间评估性能。
• 在相同条件下将DBN性能与稀疏自编码器和SVM基线模型进行比较。
• 改变用于训练的目标数据比例（10%至80%），以评估数据效率。

实验结果

研究问题

• RQ1 使用DBNs进行迁移学习是否能提升跨语料库和跨语言场景下的语音情感识别准确率？
• RQ2 多语言训练在低资源或未见语言设置下对DBNs性能有何影响？
• RQ3 与基线模型相比，引入一小部分目标领域数据能在多大程度上提升识别准确率？
• RQ4 当在不同语言、年龄群体或录音条件下进行迁移时，DBN的性能是否会下降？

主要发现

• 在跨语料库情感识别中，DBNs显著优于稀疏自编码器和SVM基线模型，展现出更优的特征学习和泛化能力。
• 即使仅在训练中包含20%的目标数据（例如EMO-DB中约90句语音），识别准确率也超过基线，尤其在低资源语料库中表现明显。
• 使用IEMOCAP和FAU-AIBO进行多语言训练的准确率高于单语言训练，尤其在未见过的语言（如意大利语EMOVO）中表现更优。
• 留一法训练方案获得最高准确率，表明接触多样化语言可增强模型的鲁棒性和泛化能力。
• 在跨语言迁移（如英语到德语）或跨年龄群体迁移（如成人与儿童语音）时性能下降，凸显领域偏移带来的挑战。
• 尽管语言相同（德语），FAU-AIBO（儿童语音）与EMO-DB（成人语音）之间仍存在性能差异，表明人口统计特征和录音条件的差异会影响模型的可迁移性。