[论文解读] Towards Fine-Grained Prosody Control for Voice Conversion

Zheng Lian, Zhengqi Wen|arXiv (Cornell University)|Oct 24, 2019

Speech Recognition and Synthesis参考文献 27被引用 4

一句话总结

本文提出了一种非平行语音转换框架，利用无监督韵律嵌入实现细粒度韵律控制，通过用学习到的嵌入替代基于音高的韵律控制，并采用实时LPCNet声码器实现高保真度合成，从而在语音质量和说话人相似度方面实现提升，尤其在歌唱场景中表现更优。

ABSTRACT

In a typical voice conversion system, prior works utilize various acoustic features (e.g., the pitch, voiced/unvoiced flag, aperiodicity) of the source speech to control the prosody of generated waveform. However, the prosody is related with many factors, such as the intonation, stress and rhythm. It is a challenging task to perfectly describe the prosody through acoustic features. To deal with this problem, we propose prosody embeddings to model prosody. These embeddings are learned from the source speech in an unsupervised manner. We conduct experiments on our Mandarin corpus recoded by professional speakers. Experimental results demonstrate that the proposed method enables fine-grained control of the prosody. In challenging situations (such as the source speech is a singing song), our proposed method can also achieve promising results.

研究动机与目标

• 为解决基于音高的韵律控制在语音转换中的局限性，其无法捕捉复杂的韵律因素（如语调、重音和节奏）。
• 通过用无监督韵律嵌入替代手工设计的声学特征，提升非平行语音转换中的语音质量与说话人相似度。
• 利用LPCNet神经声码器实现高质量、实时的语音合成，该声码器相比传统参数化声码器具有更优的谱控能力和效率。
• 在标准TTS风格语音和歌唱场景下评估所提方法，验证其在多样化韵律模式下的鲁棒性。

提出的方法

• 使用神经网络以无监督方式从源语音中学习韵律嵌入，无需显式标注即可捕捉复杂的韵律特征。
• 该框架以语音后验gram（PPG）作为语言输入，并通过基于CBHG的转换模型将其映射到目标说话人的声学特征。
• 将韵律嵌入与PPG拼接，并作为条件输入用于引导声学特征的生成过程。
• 使用LPCNet进行语音波形合成，这是一种实时神经声码器，基于线性预测和RNN预测激励信号，从而提升谱保真度。
• 系统采用Adam优化器、批量大小32和梯度裁剪进行端到端训练，训练10万步后收敛。
• 将基于音高和VUV（清音/浊音）控制的基线系统与所提方法及基于PPG的基线系统（C1，使用WORLD声码器）进行对比。

实验结果

研究问题

• RQ1 无监督韵律嵌入能否有效建模超越音高的复杂韵律因素（如语调、重音和节奏）？
• RQ2 用学习到的嵌入替代基于音高的韵律控制，是否能提升非平行语音转换中的语音质量与说话人相似度？
• RQ3 所提框架能否在LPCNet支持下实现高质量、实时的语音合成，尤其在具有挑战性的歌唱场景中？
• RQ4 与现有基于PPG的非平行语音转换系统相比，所提方法在主观质量与说话人相似度方面表现如何？

主要发现

• 所提方法在歌唱转语音转换（SONG-to-TS对）中显著优于基于音高的基线方法，展现出更优的韵律控制能力。
• 主观MOS结果表明，所提方法在CMU-ARCTIC和普通话数据集上均优于基线系统和C1系统，语音自然度更高。
• 相同/不同判断范式的结果显示，所提方法在非语音韵律条件下（如歌唱）的说话人相似度显著高于基线系统。
• LPCNet在语音质量和说话人相似度方面均优于WORLD声码器，证实其在实时高保真合成中的有效性。
• 该方法在歌唱场景中表现优异，而基于音高的控制因音高检测误差和韵律建模不足而失效。
• 使用小瓶颈尺寸的1D韵律嵌入可实现有效、细粒度的韵律迁移，且无需平行数据或显式标注。