[论文解读] RAVE: A variational autoencoder for fast and high-quality neural audio synthesis

Antoine Caillon, Philippe Esling|arXiv (Cornell University)|Nov 9, 2021

Speech and Audio Processing被引用 40

一句话总结

RAVE 引入一个两阶段 VAE，带对抗性微调和多带波形分解，在 CPU 上约实现 20x 实时的高质量音频合成，达到 48kHz。

ABSTRACT

Deep generative models applied to audio have improved by a large margin the state-of-the-art in many speech and music related tasks. However, as raw waveform modelling remains an inherently difficult task, audio generative models are either computationally intensive, rely on low sampling rates, are complicated to control or restrict the nature of possible signals. Among those models, Variational AutoEncoders (VAE) give control over the generation by exposing latent variables, although they usually suffer from low synthesis quality. In this paper, we introduce a Realtime Audio Variational autoEncoder (RAVE) allowing both fast and high-quality audio waveform synthesis. We introduce a novel two-stage training procedure, namely representation learning and adversarial fine-tuning. We show that using a post-training analysis of the latent space allows a direct control between the reconstruction fidelity and the representation compactness. By leveraging a multi-band decomposition of the raw waveform, we show that our model is the first able to generate 48kHz audio signals, while simultaneously running 20 times faster than real-time on a standard laptop CPU. We evaluate synthesis quality using both quantitative and qualitative subjective experiments and show the superiority of our approach compared to existing models. Finally, we present applications of our model for timbre transfer and signal compression. All of our source code and audio examples are publicly available.

研究动机与目标

• 在不依赖重 autoregressive 生成的前提下，推动快速且高质量的神经音频合成。
• 开发一个基于 VAE 的框架，在重建保真度与潜在空间紧凑性之间取得平衡。
• 使用多带波形分解在低计算成本下实现 48kHz 音频合成。
• 提供一种训练后潜在空间分析方法，以识别信息量大的潜在维度。
• 展示在音色迁移和信号压缩方面的应用。

提出的方法

• 提出一个两阶段训练流程：先训练一个常规 VAE 以进行表示学习，然后用对抗生成目标进行微调。
• 对原始波形使用多带分解，以降低时域维度并实现 48kHz 合成。
• 在表示学习阶段（阶段 1）使用多尺度谱损失来优化编码器。
• 在阶段 2 固定编码器，使用 hinge-GAN 目标以及谱损失和特征匹配损失来训练解码器。
• 通过奇异值分解在训练后对潜在空间进行分析，以区分信息丰富和信息稀疏的潜在维度，从而实现可变保真度的重构。

实验结果

研究问题

• RQ1 基于 VAE 的模型是否能够在 CPU 上实现实时或近实时的高质量 48kHz 音频合成？
• RQ2 如何在训练后分析并裁剪潜在空间，以在重建保真度和表示紧凑性之间取得平衡？
• RQ3 在表示学习后进行对抗性微调是否能提高感知质量，同时不牺牲所学的潜在结构？
• RQ4 多带波形分解是否能在可控的计算成本下实现高采样率合成？
• RQ5 该模型是否能够在没有监督目标的情况下实现音色迁移和信号压缩？

主要发现

• RAVE 在标准笔记本 CPU 上实现了 48kHz 音频合成，速度达到 20x 实时。
• 在字符串数据的 15 次试验 MOS 评估中，RAVE 得分 3.01，相较 NSynth 2.68，SING 1.15。
• RAVE 使用 17.6M 参数，显著少于基线方法。
• 16-band 多带分解在较低计算负载下实现高质量的 48kHz 合成。
• 通过 SVD 的训练后潜在空间分析得到一个保真度参数 f，使潜在维度显著减少，同时控制重建质量。
• RAVE 支持音色迁移和基于潜在空间的信号压缩。