[论文解读] QuickVC: Any-to-many Voice Conversion Using Inverse Short-time Fourier Transform for Faster Conversion

Houjian Guo, Chaoran Liu+2 more|arXiv (Cornell University)|Feb 16, 2023

Speech Recognition and Synthesis被引用 5

一句话总结

QuickVC 提出了一种轻量级、端到端的语音转换模型，利用 HuBERT-Soft 提取与说话人无关的内容特征，并采用 iSTFT 解码器替代 VITS 中计算量较大的声码器，实现在 RTX 3090 GPU 上超过 5000 KHz 的推理速度，以及在 i9-10900K CPU 上达到 280 KHz 的速度，同时保持了较高的语音自然度（N-MOS: 4.28）和相似度（S-MOS: 3.58）。

ABSTRACT

With the development of automatic speech recognition (ASR) and text-to-speech (TTS) technology, high-quality voice conversion (VC) can be achieved by extracting source content information and target speaker information to reconstruct waveforms. However, current methods still require improvement in terms of inference speed. In this study, we propose a lightweight VITS-based VC model that uses the HuBERT-Soft model to extract content information features without speaker information. Through subjective and objective experiments on synthesized speech, the proposed model demonstrates competitive results in terms of naturalness and similarity. Importantly, unlike the original VITS model, we use the inverse short-time Fourier transform (iSTFT) to replace the most computationally expensive part. Experimental results show that our model can generate samples at over 5000 kHz on the 3090 GPU and over 250 kHz on the i9-10900K CPU, achieving competitive speed for the same hardware configuration.

研究动机与目标

• 解决缺乏实时、高质量语音转换模型且推理速度慢的问题。
• 在不牺牲语音自然度和说话人相似度的前提下提升推理速度。
• 通过减少 VITS 解码器中的计算冗余，实现语音转换模型在设备端的部署。
• 利用自监督语音表征（HuBERT-Soft）提取与说话人身份无关的内容特征。
• 优化基于 VITS 的架构，实现端到端、非自回归推理，实现最低延迟。

提出的方法

• 采用 VITS 作为端到端语音转换的骨干网络，利用其对抗训练和归一化流技术实现高质量波形合成。
• 将 VITS 中原始的 Hifi-GAN 声码器替换为逆短时傅里叶变换（iSTFT）解码器，以降低计算成本。
• 使用 HuBERT-Soft 从原始波形中提取与说话人无关的内容特征，避免对文本标注的依赖。
• 在 iSTFT 解码器中引入多带并行策略，加速波形重建并减少冗余。
• 在训练过程中应用数据增强，以增强内容特征的解耦能力，提升语音自然度和相似度。
• 训练一个说话人编码器以提取说话人嵌入，实现多说话人语音转换，支持任意到多对多能力。

实验结果

研究问题

• RQ1 基于 VITS 的语音转换模型是否能在保持高感知质量的同时实现高速推理？
• RQ2 基于 iSTFT 的解码器在替代 Hifi-GAN 声码器以实现更快波形生成方面效果如何？
• RQ3 使用 HuBERT-Soft 提取内容特征在语音转换中对解耦和泛化能力的提升程度如何？
• RQ4 训练过程中使用数据增强是否能增强模型保留语言内容和说话人身份的能力？
• RQ5 所提出的模型是否能在消费级硬件（CPU/GPU）上实现实时推理而不损失质量？

主要发现

• QuickVC-sr 在所有模型中取得了最高的自然度评分（N-MOS: 4.28 ± 0.15），优于 Diff-VCTK（3.46 ± 0.21）和 BNE-PPG-VC（3.83 ± 0.17）。
• QuickVC-sr 在说话人相似度（S-MOS: 3.58 ± 0.20）和 Resemblyzer 分数（85.68%）方面表现最佳，优于所有基线模型。
• 在 LibriSpeech 数据集上，模型的词错误率（WER）为 2.43%，字符错误率（CER）为 0.86%，表明其具有强大的语言内容保持能力。
• 在 RTX 3090 GPU 上，QuickVC 实现了 5320.78 KHz 的推理速度，显著快于 Diff-VCTK（63.34 KHz）和 VQMIVC（148.27 KHz）。
• 在 i9-10900K CPU 上，QuickVC 实现了 280.00 KHz 的推理速度，超过所有基线模型，支持实时设备端部署。
• t-SNE 可视化结果表明，说话人嵌入被良好分离且具有说话人特异性，验证了说话人编码器的有效性。