[论文解读] Vesper: A Compact and Effective Pretrained Model for Speech Emotion Recognition

Weidong Chen, Xiaofen Xing+2 more|arXiv (Cornell University)|Jul 20, 2023

Emotion and Mood RecognitionPsychology被引用 3

一句话总结

本文提出 Vesper，一种紧凑且高效的预训练模型，用于语音情感识别，通过情感引导掩码和分层自监督机制改进 WavLM。尽管仅含 4 层，Vesper 的性能仍优于 WavLM Base（12 层），而 Vesper-12 的表现也超越了 WavLM Large（24 层），在 IEMOCAP、MELD 和 CREMA-D 数据集上展现出更优性能，同时模型参数更少。

ABSTRACT

This paper presents a paradigm that adapts general large-scale pretrained models (PTMs) to speech emotion recognition task. Although PTMs shed new light on artificial general intelligence, they are constructed with general tasks in mind, and thus, their efficacy for specific tasks can be further improved. Additionally, employing PTMs in practical applications can be challenging due to their considerable size. Above limitations spawn another research direction, namely, optimizing large-scale PTMs for specific tasks to generate task-specific PTMs that are both compact and effective. In this paper, we focus on the speech emotion recognition task and propose an improved emotion-specific pretrained encoder called Vesper. Vesper is pretrained on a speech dataset based on WavLM and takes into account emotional characteristics. To enhance sensitivity to emotional information, Vesper employs an emotion-guided masking strategy to identify the regions that need masking. Subsequently, Vesper employs hierarchical and cross-layer self-supervision to improve its ability to capture acoustic and semantic representations, both of which are crucial for emotion recognition. Experimental results on the IEMOCAP, MELD, and CREMA-D datasets demonstrate that Vesper with 4 layers outperforms WavLM Base with 12 layers, and the performance of Vesper with 12 layers surpasses that of WavLM Large with 24 layers.

研究动机与目标

• 为解决通用预训练模型（PTMs）在语音情感识别任务中普遍过大且未针对情感内容优化的问题。
• 通过结合模型压缩与无标签适应，开发一种既紧凑又高效的特定任务预训练模型。
• 通过一种新颖的情感引导掩码策略，在预训练过程中提升对情感线索的敏感度。
• 通过整合分层与跨层自监督机制，提升表征学习能力，更好地捕捉语音的声学与语义特征。
• 验证 Vesper 的最后一层表征足以支持情感识别，从而简化下游部署流程。

提出的方法

• Vesper 初始时使用预训练的 WavLM 权重，以利用其通用语音表征能力。
• 情感引导掩码策略用于识别可能包含情感内容的高能量语音区域，将掩码聚焦于这些区域，以增强对情感的敏感性。
• 在不同层之间应用分层自监督机制，以加强浅层对声学特征的学习和深层对语义特征的学习。
• 通过跨层自监督机制增强特征优化，鼓励网络不同深度之间的表征保持一致性。
• 在下游语音情感识别任务上使用标准分类头进行微调，预训练阶段无需标签数据。
• 通过减少层数（例如 4 或 12 层，而非 12 或 24 层）实现模型压缩，从而获得更小、更高效的架构。

实验结果

研究问题

• RQ1 特定任务、紧凑型预训练模型是否能在语音情感识别任务中超越更大规模的通用预训练模型？
• RQ2 情感引导掩码策略是否能在自监督预训练过程中提升模型对情感内容的敏感度？
• RQ3 分层与跨层自监督机制是否能增强对情感识别至关重要的声学与语义表征的学习？
• RQ4 Vesper 的最后一层表征是否足以实现高性能的情感识别，从而实现简化部署？
• RQ5 与 WavLM 变体相比，Vesper 在保持或提升准确率的同时，能在多大程度上降低计算成本？

主要发现

• Vesper-4 在 IEMOCAP、MELD 和 CREMA-D 三个数据集上的表现均优于 WavLM Base（12 层）。
• Vesper-12 在所有评估指标上均优于 WavLM Large（24 层），证明当模型被专门优化用于情感识别时，更小的模型也能超越更大的模型。
• 在 IEMOCAP 数据集上，Vesper-4 在使用全部层时相比 WavLM Base 的 F1 分数提升 6.2% 至 6.6%，在仅使用最后一层时也提升 1.4% 至 1.9%。
• 对于 Vesper-12，仅使用最后一层表征相比完整 SUPERB 设置，性能提升 0.2% 至 0.4%，表明最后一层表征具有高度信息量。
• t-SNE 可视化结果表明，Vesper-12 能够成功将四种情绪（高兴、悲伤、愤怒、中性）的表征聚类，且重叠极少，而 WavLM 模型则表现不佳。
• 消融实验证实，情感引导掩码与分层/跨层自监督机制均对性能提升有显著贡献。