[论文解读] Transforming Spectrum and Prosody for Emotional Voice Conversion with Non-Parallel Training Data

Kun Zhou, Berrak Şişman+1 more|arXiv (Cornell University)|Feb 1, 2020

Speech and Audio Processing参考文献 63被引用 17

一句话总结

该论文提出了一种基于CycleGAN的非平行情感语音转换框架，通过多时间尺度的连续小波变换（CWT）对基频（F0）进行建模，实现频谱与语调的转换。该方法在基线模型上实现了更优的情感相似度，尤其通过频谱与语调的独立训练，在中性到愤怒和中性到惊讶的转换中，XAB测试的偏好度分别达到93.6%和96.5%。

ABSTRACT

Emotional voice conversion aims to convert the spectrum and prosody to change the emotional patterns of speech, while preserving the speaker identity and linguistic content. Many studies require parallel speech data between different emotional patterns, which is not practical in real life. Moreover, they often model the conversion of fundamental frequency (F0) with a simple linear transform. As F0 is a key aspect of intonation that is hierarchical in nature, we believe that it is more adequate to model F0 in different temporal scales by using wavelet transform. We propose a CycleGAN network to find an optimal pseudo pair from non-parallel training data by learning forward and inverse mappings simultaneously using adversarial and cycle-consistency losses. We also study the use of continuous wavelet transform (CWT) to decompose F0 into ten temporal scales, that describes speech prosody at different time resolution, for effective F0 conversion. Experimental results show that our proposed framework outperforms the baselines both in objective and subjective evaluations.

研究动机与目标

• 为解决语音转换中收集平行情感语音数据的不现实性问题。
• 通过超越单一尺度F0表示的语调建模，提升情感语音转换效果。
• 探究频谱与语调的独立训练或联合训练在情感相似度方面孰优孰劣。
• 通过连续小波变换（CWT）将F0分解为分层时间尺度，提升F0转换性能。
• 开发一种无需平行数据的高质量情感语音转换系统，结合对抗损失与循环一致性损失。

提出的方法

• 利用CycleGAN在无平行数据的情况下学习源语音与目标语音之间的双向映射，结合对抗损失与循环一致性损失。
• 应用连续小波变换（CWT）将基频（F0）分解为十个时间尺度，实现多分辨率语调建模。
• 对CycleGAN进行频谱转换与F0转换（通过CWT系数）的独立训练，提升在数据有限情况下的泛化能力。
• 采用XAB听音测试评估转换语音与参考目标之间的情感相似度。
• 使用同一说话人不同情感下的非平行语音作为训练数据，避免对成对源-目标样本的需求。
• 通过将F0转换与频谱特征解耦，实现语调内容无关建模，提升对未见语言内容的鲁棒性。

实验结果

研究问题

• RQ1 基于CycleGAN的框架是否能在无需平行训练数据的情况下实现有效的情感语音转换？
• RQ2 在多个时间尺度上使用连续小波变换（CWT）对F0进行建模，是否能提升情感语调转换效果？
• RQ3 在情感相似度方面，频谱与语调转换的独立训练是否优于联合训练？
• RQ4 该方法在客观与主观评估中与基线模型相比表现如何？
• RQ5 该框架是否能在转换情感表达的同时保持说话人身份与语言内容？

主要发现

• 所提出的CycleGAN-Separate框架在客观与主观评估中均优于基线模型，在中性到愤怒转换的XAB测试中偏好度达93.6%。
• CycleGAN-Separate方法在中性到惊讶转换的XAB测试中偏好度达96.5%，表现出更优的情感相似度。
• 频谱与语调转换的独立训练显著优于联合训练，表明在数据有限时，语调应独立建模。
• 基于CWT的F0分解实现了语调的多尺度建模，比单一尺度F0表示更有效地捕捉分层语调模式。
• 由于语调内容无关学习，该框架在未见语言内容上泛化良好，尤其在低数据场景下表现优异。
• 对抗损失与循环一致性损失的结合，使从非平行数据中有效发现伪配对成为可能，从而实现高保真度的情感转换。