[论文解读] Multi-Task Semi-Supervised Adversarial Autoencoding for Speech Emotion Recognition

Siddique Latif, Rajib Rana+4 more|arXiv (Cornell University)|Jul 13, 2019

Speech and Audio Processing被引用 8

一句话总结

本文提出了一种多任务半监督对抗自编码器框架，利用来自辅助任务（性别识别和说话人识别）的大规模未标注数据，以提升语音情感识别（SER）的性能。通过在有限的标注情感数据和丰富的未标注数据上联合训练，结合对抗自编码和损失加权的多任务优化，该模型在 IEMOCAP 和 MSP-IMPROV 数据集上实现了分类和维度情感分类的最先进结果。

ABSTRACT

Inspite the emerging importance of Speech Emotion Recognition (SER), the state-of-the-art accuracy is quite low and needs improvement to make commercial applications of SER viable. A key underlying reason for the low accuracy is the scarcity of emotion datasets, which is a challenge for developing any robust machine learning model in general. In this paper, we propose a solution to this problem: a multi-task learning framework that uses auxiliary tasks for which data is abundantly available. We show that utilisation of this additional data can improve the primary task of SER for which only limited labelled data is available. In particular, we use gender identifications and speaker recognition as auxiliary tasks, which allow the use of very large datasets, e.g., speaker classification datasets. To maximise the benefit of multi-task learning, we further use an adversarial autoencoder (AAE) within our framework, which has a strong capability to learn powerful and discriminative features. Furthermore, the unsupervised AAE in combination with the supervised classification networks enables semi-supervised learning which incorporates a discriminative component in the AAE unsupervised training pipeline. This semi-supervised learning essentially helps to improve generalisation of our framework and thus leads to improvements in SER performance. The proposed model is rigorously evaluated for categorical and dimensional emotion, and cross-corpus scenarios. Experimental results demonstrate that the proposed model achieves state-of-the-art performance on two publicly available datasets.

研究动机与目标

• 为解决有限标注语音情感数据集这一关键挑战，该挑战阻碍了鲁棒 SER 模型的开发。
• 通过利用相关辅助任务中的丰富未标注数据，提升语音情感识别的泛化能力和性能。
• 将对抗自编码与多任务学习相结合，实现在 SER 中的半监督表征学习。
• 研究损失加权以及辅助任务对主 SER 任务性能的数据贡献影响。
• 在跨语料库设置下，实现分类和维度情感分类的最先进结果。

提出的方法

• 该框架采用多任务学习设置，以语音情感识别为主任务，性别识别和说话人识别为辅助任务。
• 使用对抗自编码器（AAE）以无监督方式学习强大、解耦且具有判别性的语音表征。
• 将 AAE 与主任务和辅助任务的监督分类头结合，实现利用未标注数据的半监督训练。
• 通过超参数 α（无监督任务）和 β（监督主任务和次级任务）对损失函数进行加权，以控制各组件的贡献。
• 使用联合目标端到端训练模型，平衡重建损失、对抗损失和分类损失。
• 在 IEMOCAP 和 MSP-IMPROV 数据集上对分类情感、愉悦度和激活度进行评估。

Figure 1 : Illustration of our proposed multitask framework using a semi-supervised adversarial autoencoder (AAE).

实验结果

研究问题

• RQ1 能否利用来自辅助任务（性别识别和说话人识别）的大规模未标注数据来提升低资源语音情感识别的性能？
• RQ2 对抗自编码的整合如何增强多任务半监督 SER 框架中的表征学习？
• RQ3 在控制 α 和 β 的情况下，无监督和监督损失之间的最优平衡是什么，以最大化 SER 准确率？
• RQ4 在多任务设置中，结合多个辅助任务是否比单独使用它们表现更优？
• RQ5 所提出的模型在不同情感分类范式（分类 vs. 维度）和跨语料库场景下的泛化能力如何？

主要发现

• 所提出的模型在 IEMOCAP 和 MSP-IMPROV 数据集上，对分类、愉悦度和激活度情感分类均实现了最先进性能。
• 即使仅使用有限的标注情感数据，通过使用具有大规模未标注数据的辅助任务，模型仍表现出显著的性能提升。
• 无监督损失权重 α 的最优范围为 0.4–0.6，超出此范围的值会降低性能。
• 监督任务权重 β 的最优范围为 0.4–0.7，过低或过高的值均会降低准确率。
• 将性别识别和说话人识别作为辅助任务联合使用，比单独使用任一任务表现更优。
• 该框架在跨语料库评估场景中表现出强大的泛化能力，表明对领域偏移具有鲁棒性。

Figure 2 : Three clusters of the MSP-IMPROV data in the valence-activation space.