[论文解读] UnivNet: A Neural Vocoder with Multi-Resolution Spectrogram Discriminators for High-Fidelity Waveform Generation

Won Jang, Dan Lim+3 more|arXiv (Cornell University)|Jun 15, 2021

Speech and Audio Processing参考文献 29被引用 4

一句话总结

UnivNet 是一种实时神经声码器，采用全带梅尔倒谱图和多分辨率谱图判别器（MRSD），可生成高保真波形，有效缓解全带模型中常见的过度平滑问题。它在已见和未见说话人上均实现了最先进的人工主观与客观性能，其轻量化版本生成波形的速度达到实时的227倍。

ABSTRACT

Most neural vocoders employ band-limited mel-spectrograms to generate waveforms. If full-band spectral features are used as the input, the vocoder can be provided with as much acoustic information as possible. However, in some models employing full-band mel-spectrograms, an over-smoothing problem occurs as part of which non-sharp spectrograms are generated. To address this problem, we propose UnivNet, a neural vocoder that synthesizes high-fidelity waveforms in real time. Inspired by works in the field of voice activity detection, we added a multi-resolution spectrogram discriminator that employs multiple linear spectrogram magnitudes computed using various parameter sets. Using full-band mel-spectrograms as input, we expect to generate high-resolution signals by adding a discriminator that employs spectrograms of multiple resolutions as the input. In an evaluation on a dataset containing information on hundreds of speakers, UnivNet obtained the best objective and subjective results among competing models for both seen and unseen speakers. These results, including the best subjective score for text-to-speech, demonstrate the potential for fast adaptation to new speakers without a need for training from scratch.

研究动机与目标

• 解决使用全带梅尔倒谱图的神经声码器中存在的过度平滑问题，该问题会导致高频细节丢失和可听伪影。
• 通过引入分析多种谱图尺度的多分辨率谱图判别器（MRSD），提升频谱分辨率和波形保真度。
• 通过采用通用声码器设计，实现在无需微调的情况下快速适应新说话人。
• 在计算成本极低的前提下实现高保真、实时推理，并在多样化说话人上具备强大的泛化能力。

提出的方法

• 生成器采用受MelGAN启发的非自回归架构，结合位置可变卷积（LVC）层，以高效建模局部特征。
• 生成器以全带梅尔倒谱图为条件，通过带残差块的转置卷积生成波形。
• 多分辨率谱图判别器（MRSD）处理使用不同STFT参数计算的多个线性谱图幅度，以增强频谱分辨率。
• 模型结合多周期波形判别器（MPWD）与MRSD，以同时建模时间周期性和频谱细节。
• 生成器通过对抗损失和多尺度STFT损失进行训练，MRSD提供高频分辨率反馈。
• 架构针对推理速度进行优化，轻量化变体（UnivNet-c16）实现227倍实时波形生成速度。

实验结果

研究问题

• RQ1 使用全带梅尔倒谱图的神经声码器能否在不出现过度平滑的情况下实现高保真波形生成？
• RQ2 多分辨率谱图判别器是否能提升生成波形的频谱分辨率并减少伪影？
• RQ3 单一声码器模型能否在无需微调的情况下有效泛化到未见说话人？
• RQ4 多周期与多分辨率判别器的结合如何提升波形质量和时频保真度？
• RQ5 全带神经声码器中，模型复杂度、推理速度与主观质量之间的权衡如何？

主要发现

• UnivNet-c16在已见说话人上的平均意见得分（MOS）为3.92，在未见说话人上为3.79，优于MelGAN、Parallel WaveGAN和HiFi-GAN。
• 在文本到语音评估中，UnivNet-c32取得最高MOS 4.07，展现出强大的零样本泛化能力。
• 消融实验表明，若移除MRSD，将导致显著的过度平滑和可听金属质感伪影，MOS下降超过0.5分。
• UnivNet-c16以227.27倍实时速度生成波形，显著快于HiFi-GAN（135.14倍）和MelGAN（294.11倍），同时保持高质量。
• UnivNet-c32在客观指标上表现最佳，未见说话人PESQ为3.70，RMSE为0.294，优于所有基线模型。
• MPWD与MRSD的组合（MSWD）取得最高MOS（3.90），证实了多尺度时间与频谱判别能力的互补优势。