[论文解读] Textless Speech Emotion Conversion using Decomposed and Discrete Representations

Felix Kreuk, Adam Polyak+8 more|arXiv (Cornell University)|Nov 14, 2021

Speech Recognition and Synthesis参考文献 75被引用 11

一句话总结

本文提出了一种无需文本转录的语音情感转换方法，该方法将语音分解为解耦表示——内容、基频（F0）、说话人和情感——然后将内容单元翻译为目标情感，并预测韵律以生成波形。该方法能够建模非语言性发声（如笑声和打哈欠），在感知情感和音频质量方面优于基线模型，经客观与主观评估验证。

ABSTRACT

Speech emotion conversion is the task of modifying the perceived emotion of a speech utterance while preserving the lexical content and speaker identity. In this study, we cast the problem of emotion conversion as a spoken language translation task. We decompose speech into discrete and disentangled learned representations, consisting of content units, F0, speaker, and emotion. First, we modify the speech content by translating the content units to a target emotion, and then predict the prosodic features based on these units. Finally, the speech waveform is generated by feeding the predicted representations into a neural vocoder. Such a paradigm allows us to go beyond spectral and parametric changes of the signal, and model non-verbal vocalizations, such as laughter insertion, yawning removal, etc. We demonstrate objectively and subjectively that the proposed method is superior to the baselines in terms of perceived emotion and audio quality. We rigorously evaluate all components of such a complex system and conclude with an extensive model analysis and ablation study to better emphasize the architectural choices, strengths and weaknesses of the proposed method. Samples and code will be publicly available under the following link: https://speechbot.github.io/emotion.

研究动机与目标

• 为解决无文本转录的语音情感转换挑战，实现在保留内容与说话人身份的同时进行情感迁移。
• 建模传统谱系或参数化方法难以捕捉的非语言性发声（如笑声与打哈欠）。
• 构建统一框架，将情感转换视为使用解耦语音表示的语音翻译任务。
• 通过消融研究与全面分析，严格评估各组件贡献与架构选择。

提出的方法

• 该方法将原始语音分解为四种解耦的离散表示：内容单元、基频（F0）、说话人嵌入与情感嵌入。
• 内容单元通过序列到序列的翻译模型从源情感翻译为目标情感，类比神经机器翻译。
• 使用专用回归头从翻译后的内容单元预测韵律特征（F0），以保留情感韵律。
• 神经声码器从预测的表示重建语音波形，确保高保真音频生成。
• 通过独立操作离散表示，该框架可实现对非语言性发声的建模，例如插入笑声或去除打哈欠。
• 整个系统通过多任务损失端到端训练，损失函数结合内容重建、情感预测与波形生成目标。

实验结果

研究问题

• RQ1 解耦的离散语音表示是否能在无文本监督下实现有效且可控的语音情感转换？
• RQ2 与现有基线相比，该方法在保留词汇内容与说话人身份的同时，情感迁移性能如何？
• RQ3 该模型在源语音中未明确出现的情况下，能多大程度上生成如笑声或打哈欠等非语言性发声？
• RQ4 架构中的哪些组件——内容翻译、F0预测或表示解耦——对性能贡献最大？
• RQ5 架构选择（如使用离散单元与序列到序列建模）如何影响情感迁移质量与音频保真度？

主要发现

• 主观评估显示，该方法在感知情感迁移质量方面显著优于强基线模型，证明其在情感转换中的有效性。
• 客观指标显示语音质量与情感相似性均有显著提升，表明生成输出具有鲁棒性与高保真度。
• 消融研究证实，解耦表示学习与序列到序列内容翻译模块对高性能至关重要。
• 该模型成功生成了如笑声插入与打哈欠去除等非语言性发声，这是传统参数化或谱系方法无法实现的。
• 自动指标与人工评估均证实，该方法保持了高说话人相似性与词汇内容保留度。
• 在预测表示条件下的神经声码器生成了高保真波形，其感知自然且与目标情感一致。