[论文解读] VISinger: Variational Inference with Adversarial Learning for End-to-End Singing Voice Synthesis

Yongmao Zhang, Jian Cong+4 more|arXiv (Cornell University)|Oct 17, 2021

Music and Audio Processing被引用 10

一句话总结

VISinger 提出了一种基于变分推断与对抗学习的端到端演唱语音合成系统，通过引入帧级先验网络、F0 预测器和音符归一化时长预测器，改进了 VITS 框架，以建模演唱特有的声学变化。在普通话演唱语料库上，其音质、自然度和音准稳定性均优于两阶段系统和 Oracle VITS。

ABSTRACT

In this paper, we propose VISinger, a complete end-to-end high-quality singing voice synthesis (SVS) system that directly generates audio waveform from lyrics and musical score. Our approach is inspired by VITS, which adopts VAE-based posterior encoder augmented with normalizing flow-based prior encoder and adversarial decoder to realize complete end-to-end speech generation. VISinger follows the main architecture of VITS, but makes substantial improvements to the prior encoder based on the characteristics of singing. First, instead of using phoneme-level mean and variance of acoustic features, we introduce a length regulator and a frame prior network to get the frame-level mean and variance on acoustic features, modeling the rich acoustic variation in singing. Second, we further introduce an F0 predictor to guide the frame prior network, leading to stabler singing performance. Finally, to improve the singing rhythm, we modify the duration predictor to specifically predict the phoneme to note duration ratio, helped with singing note normalization. Experiments on a professional Mandarin singing corpus show that VISinger significantly outperforms FastSpeech+Neural-Vocoder two-stage approach and the oracle VITS; ablation study demonstrates the effectiveness of different contributions.

研究动机与目标

• 解决两阶段演唱语音合成系统中因独立声学模型与神经声码器导致的训练-推理不匹配问题。
• 将原本专为语音设计的 VITS 框架适配为高质量的端到端演唱语音合成系统。
• 通过专门的网络结构改进，建模演唱中丰富的声学变化，如震音与音准变化。
• 通过重新定义时长预测器以预测音节到音符的时长比，提升节奏准确度与音符归一化效果。
• 证明基于变分推断与对抗学习的端到端训练在演唱合成中优于两阶段基线模型。

提出的方法

• 采用受 VITS 启发的条件变分自编码器（CVAE）框架，包含后验编码器、先验编码器与对抗解码器。
• 用帧级先验网络替代 VITS 的音节级先验，通过长度调节器建模声学特征的帧级均值与方差。
• 引入 F0 预测器以引导帧先验网络，提升音准稳定性并减少音高误差。
• 修改时长预测器，使其预测音节到音符的时长比，从而提升演唱音符归一化与节奏准确度。
• 在先验编码器中使用归一化流，在解码器中采用对抗训练，以增强波形质量与分布对齐。
• 端到端联合训练整个模型，损失函数包括对抗损失、VAE 重建损失与基于流的似然优化。

Fig. 1 : Architecture of VISinger

实验结果

研究问题

• RQ1 能否将基于 VITS 的端到端框架有效适配为高保真演唱语音合成系统，其声学变化丰富度超过语音？
• RQ2 与音节级分布相比，建模帧级先验分布是否能提升演唱语音质量与稳定性？
• RQ3 F0 引导的帧先验网络在多大程度上可减少音准错误并提升语音自然度？
• RQ4 音符归一化的时长预测器在提升节奏准确度与时长一致性方面效果如何？
• RQ5 基于变分推断与对抗学习的端到端训练是否在演唱合成中优于两阶段系统与 Oracle VITS？

主要发现

• VISinger 在音质上的平均意见分（MOS）为 3.93，自然度为 3.76，显著优于两阶段基线 FastSpeech+WaveRNN。
• VISinger 的 F0 均方误差（F0 MAE）为 18.7 Hz，低于 FastSpeech+WaveRNN 的 22.1 Hz，表明音高准确性更高。
• VISinger 的时长均方误差（Dur MAE）为 12.3 ms，低于两阶段系统的 15.6 ms，显示节奏精度更优。
• 消融实验表明，若移除帧先验网络，MOS 会降至 3.30（音质）与 2.78（自然度），证明其必要性，而不仅仅是增加流层数量。
• 音符归一化策略有效降低了时长偏差的方差，使更多预测值集中在零附近，证实其在时长建模中的有效性。
• VISinger 在频谱图中生成了更清晰的高频谐波分量，视觉上更接近真实样本，优于两阶段系统。

Fig. 2 : Spectrogram of a testing clip, generated by the ground truth, FastSpeech+WaveRNN, and VISinger.