[论文解读] Non-Parallel Voice Conversion with Cyclic Variational Autoencoder

Patrick Lumban Tobing, Yi-Chiao Wu+3 more|arXiv (Cornell University)|Jul 24, 2019

Speech Recognition and Synthesis参考文献 35被引用 13

一句话总结

本文提出了一种基于CycleVAE的非平行语音转换框架，通过引入循环一致性流来改进基于VAE的语音转换：将转换后的频谱反馈回模型，以生成可优化的循环重建。该方法在频谱精度、潜在特征相关性以及语音质量和转换准确性方面均有显著提升，尤其在跨性别设置等具有挑战性的场景中表现突出。

ABSTRACT

In this paper, we present a novel technique for a non-parallel voice conversion (VC) with the use of cyclic variational autoencoder (CycleVAE)-based spectral modeling. In a variational autoencoder(VAE) framework, a latent space, usually with a Gaussian prior, is used to encode a set of input features. In a VAE-based VC, the encoded latent features are fed into a decoder, along with speaker-coding features, to generate estimated spectra with either the original speaker identity (reconstructed) or another speaker identity (converted). Due to the non-parallel modeling condition, the converted spectra can not be directly optimized, which heavily degrades the performance of a VAE-based VC. In this work, to overcome this problem, we propose to use CycleVAE-based spectral model that indirectly optimizes the conversion flow by recycling the converted features back into the system to obtain corresponding cyclic reconstructed spectra that can be directly optimized. The cyclic flow can be continued by using the cyclic reconstructed features as input for the next cycle. The experimental results demonstrate the effectiveness of the proposed CycleVAE-based VC, which yields higher accuracy of converted spectra, generates latent features with higher correlation degree, and significantly improves the quality and conversion accuracy of the converted speech.

研究动机与目标

• 解决由于缺乏对转换后频谱的直接优化而导致的非平行语音转换性能下降问题。
• 克服传统基于VAE的语音转换方法仅优化重建频谱而未优化转换频谱的局限性。
• 提升潜在空间中说话人身份与语音内容的解耦程度，以增强转换准确性。
• 即使在源说话人与目标说话人差异显著（如跨性别情况）时，也能实现稳健的语音转换。
• 开发一种数据驱动的非平行语音转换框架，适用于实际应用中配对数据有限的场景。

提出的方法

• 提出一种基于CycleVAE的架构，通过将转换后的频谱反馈回模型，引入循环一致性流。
• 将回收的转换特征作为输入，生成循环重建频谱，并在训练过程中直接优化这些频谱。
• 使用循环重建频谱的重建损失和潜在空间正则化联合训练模型。
• 将说话人编码特征与潜在码结合，以生成重建频谱（原说话人）和转换频谱（目标说话人）。
• 通过将循环重建频谱作为下一轮循环的输入，实现迭代循环，强化映射流的一致性。
• 利用变分自编码器的潜在空间及其高斯先验，建模跨说话人间共享的语音特征。

实验结果

研究问题

• RQ1 循环一致性反馈能否提升非平行语音转换中转换频谱的优化效果？
• RQ2 CycleVAE框架是否能增强不同说话人潜在特征之间的相关性，从而体现语音内容的更好解耦？
• RQ3 在说话人差异最显著的跨性别语音转换中，该方法表现如何？
• RQ4 与传统基于VAE的语音转换相比，循环重建损失是否能带来更高的频谱精度和更优的语音质量？
• RQ5 循环一致性流在多大程度上减少了非平行语音转换对配对训练数据的依赖？

主要发现

• 在偏好测试中，所提出的基于CycleVAE的语音转换在感知质量上显著优于传统VAE，有59.17%的听者更偏好其输出（p = 6.01e-05）。
• 在跨性别转换中，CycleVAE以70.83%的偏好率远超VAE的29.17%（p = 1.18e-10），表明在具有挑战性的场景中取得显著提升。
• 该方法在说话人相似度感知方面表现更优，61.00%的听者偏好CycleVAE输出，而VAE仅为39.00%（p = 1.11e-05），在所有类别中均表现更佳。
• 余弦相似度分析显示，CycleVAE生成的潜在特征在源说话人与目标说话人间具有更高的相关性，表明语音空间中的对齐更优。
• 客观指标验证了更高的频谱精度和更优的潜在空间解耦，尤其对远距离说话人对有益。
• 循环重建机制成功实现了对转换流程的间接优化，克服了非平行训练中的关键限制。