[论文解读] Textless Speech Emotion Conversion using Discrete and Decomposed Representations

Felix Kreuk, Adam Polyak+8 more|arXiv (Cornell University)|Nov 14, 2021

Speech and Audio Processing被引用 4

一句话总结

本文提出了一种无需文本的语音情感转换方法，将情感转换视为使用离散且解耦的语音表征的口语翻译任务。通过解耦内容、语调、说话人和情感，该模型将音素单元翻译为目标情感并预测语调特征，在主观评估中实现了最先进的情感感知与音频质量表现，甚至在某些方面超越了基于文本的系统。

ABSTRACT

Speech emotion conversion is the task of modifying the perceived emotion of a speech utterance while preserving the lexical content and speaker identity. In this study, we cast the problem of emotion conversion as a spoken language translation task. We use a decomposition of the speech signal into discrete learned representations, consisting of phonetic-content units, prosodic features, speaker, and emotion. First, we modify the speech content by translating the phonetic-content units to a target emotion, and then predict the prosodic features based on these units. Finally, the speech waveform is generated by feeding the predicted representations into a neural vocoder. Such a paradigm allows us to go beyond spectral and parametric changes of the signal, and model non-verbal vocalizations, such as laughter insertion, yawning removal, etc. We demonstrate objectively and subjectively that the proposed method is vastly superior to current approaches and even beats text-based systems in terms of perceived emotion and audio quality. We rigorously evaluate all components of such a complex system and conclude with an extensive model analysis and ablation study to better emphasize the architectural choices, strengths and weaknesses of the proposed method. Samples are available under the following link: https://speechbot.github.io/emotion.

研究动机与目标

• 为解决在保留词汇内容和说话人身份的同时生成富有表现力、情感丰富的语音的挑战。
• 克服基于信号的方法无法建模非语言发声，以及基于文本的方法缺乏此类线索标注的局限性。
• 通过利用解耦的语音表征，实现在无需文本转录的情况下实现高保真情感转换。
• 证明无需文本、基于表征的方法可在情感感知与音频质量方面达到甚至超越基于文本的系统。
• 对完整系统中各组件的贡献进行全面的消融分析与讨论。

提出的方法

• 系统使用语音分词器从原始语音中提取离散内容单元（例如，音素-内容），以支持离散序列建模。
• 采用序列到序列（S2S）模型将源情感的语音内容单元翻译为目标情感，将情感转换视为口语翻译任务。
• 基于翻译后的内容单元与目标情感嵌入，预测语调特征——基频（F0）与时长。
• 最终通过神经声码器，结合翻译后的内容、预测的语调、说话人身份与目标情感，合成语音波形。
• 该方法将语音分解为四个解耦组件：内容、语调、说话人与情感，实现独立控制。
• 整个流程在并行数据设置下进行训练，所有组件实现端到端联合优化。

实验结果

研究问题

• RQ1 通过建模诸如大笑与打哈欠等非语言发声，无需文本的方法能否实现更优的情感转换性能？
• RQ2 将语音表征解耦为内容、语调、说话人与情感后，如何提升情感转换的质量？
• RQ3 所提方法在情感感知与音频质量方面，相较于基于信号与基于文本的情感转换基线模型，其性能提升程度如何？
• RQ4 系统中哪些组件（内容翻译、语调预测、情感条件控制）对成功的情感迁移最为关键？
• RQ5 当将来自 LibriSpeech 的中性语音等分布外样本转换为富有表现力的情感时，该模型的泛化能力如何？

主要发现

• 所提方法在将语音转换为愤怒情绪时取得 86.11% 的 eMOC 得分，在转换为中性情绪时达到 88.01%，优于基线模型。
• 对于分布外的 LibriSpeech 样本，模型平均 eMOC 得分为 82.25%，MOS 得分为 3.69，表明其具备强大的泛化能力。
• 系统在“愉悦”情绪转换中取得 79.12% 的 eMOC，在“愤怒”情绪中达到 86.11%，显示出高成功率的情感迁移，性能接近真实录音。
• 消融实验表明，仅预测 F0 与时长即可实现 70.31% 的 eMOC（针对“困倦”情绪），而完整流程的性能达到与真实样本相当的水平。
• 在情感感知与音频质量方面，该模型显著优于基于文本的系统，其 MOS 与 eMOC 得分均超过基于文本的基线模型。
• 该系统成功建模了诸如插入大笑与去除打哈欠等非语言发声，而这些通常被基于信号与基于文本的方法所忽略。