[论文解读] PortaSpeech: Portable and High-Quality Generative Text-to-Speech

Yi Ren, Jinglin Liu+1 more|arXiv (Cornell University)|Sep 30, 2021

Speech Recognition and Synthesis参考文献 31被引用 6

一句话总结

PortaSpeech 是一种轻量级、高质量的非自回归文本到语音模型，结合变分自编码器与增强先验，以及基于流的后处理网络，可生成富有表现力、自然流畅、语调丰富且频谱细节精细的语音。该模型仅使用 670 万个参数，参数量仅为 FastSpeech 2 的 1/4，内存效率提升约 3 倍，同时在主观与客观评估中均达到最先进水平。其性能通过一种新型语言编码器（结合混合对齐机制）与后处理网络中的分组参数共享机制得以保持，显著提升了模型效率与语音质量。

ABSTRACT

Non-autoregressive text-to-speech (NAR-TTS) models such as FastSpeech 2 and Glow-TTS can synthesize high-quality speech from the given text in parallel. After analyzing two kinds of generative NAR-TTS models (VAE and normalizing flow), we find that: VAE is good at capturing the long-range semantics features (e.g., prosody) even with small model size but suffers from blurry and unnatural results; and normalizing flow is good at reconstructing the frequency bin-wise details but performs poorly when the number of model parameters is limited. Inspired by these observations, to generate diverse speech with natural details and rich prosody using a lightweight architecture, we propose PortaSpeech, a portable and high-quality generative text-to-speech model. Specifically, 1) to model both the prosody and mel-spectrogram details accurately, we adopt a lightweight VAE with an enhanced prior followed by a flow-based post-net with strong conditional inputs as the main architecture. 2) To further compress the model size and memory footprint, we introduce the grouped parameter sharing mechanism to the affine coupling layers in the post-net. 3) To improve the expressiveness of synthesized speech and reduce the dependency on accurate fine-grained alignment between text and speech, we propose a linguistic encoder with mixture alignment combining hard inter-word alignment and soft intra-word alignment, which explicitly extracts word-level semantic information. Experimental results show that PortaSpeech outperforms other TTS models in both voice quality and prosody modeling in terms of subjective and objective evaluation metrics, and shows only a slight performance degradation when reducing the model parameters to 6.7M (about 4x model size and 3x runtime memory compression ratio compared with FastSpeech 2). Our extensive ablation studies demonstrate that each design in PortaSpeech is effective.

研究动机与目标

• 解决非自回归文本到语音（NAR-TTS）系统中模型效率与语音质量之间的权衡问题。
• 实现在边缘设备上部署的高保真、富有表现力的语音合成，计算与内存开销极低。
• 通过在语言编码器中引入混合对齐机制，降低对精确音素级对齐的依赖。
• 利用结合变分自编码器与归一化流的混合架构，提升语调建模与频谱细节重建能力。
• 开发一种紧凑高效的模型，在极端参数与内存限制下仍能保持高性能。

提出的方法

• 采用两阶段生成架构：首先使用轻量级变分自编码器（VAE）结合增强先验，用于建模长距离语调结构；随后通过基于流的后处理网络对梅尔频谱图进行细粒度细节优化。
• 在基于流的后处理网络的仿射耦合层中引入分组参数共享机制，显著降低模型大小与内存占用，同时保持性能损失可忽略。
• 设计一种结合硬性词级对齐与软性音素级对齐的混合对齐机制的语言编码器，以提升时长预测能力，并减少对精确音素级对齐的依赖。
• 采用具有非高斯增强先验分布的 VAE，以更好地捕捉复杂语调模式，尤其在小型模型中表现更优。
• 通过联合优化重建损失、KL 散度与基于流的似然最大化，端到端训练模型，以同时提升语音质量与多样性。
• 通过增强先验与基于流的优化，隐式应用知识蒸馏或其他正则化技术，以稳定训练过程并提升泛化能力。

实验结果

研究问题

• RQ1 非自回归 TTS 模型如何在极小模型尺寸与内存占用下实现高质量语音合成？
• RQ2 基于 VAE 与基于归一化流的架构在建模 TTS 中的语调与频谱细节方面，各自的优势与局限是什么？
• RQ3 结合 VAE 与归一化流的混合架构是否能在语音质量与语调建模方面超越单一模型？
• RQ4 语言编码器中的混合对齐机制是否能提升语调建模能力并降低对细粒度对齐监督的依赖？
• RQ5 是否能在不显著降低语音质量（尤其是自然度与表现力）的前提下实现显著的模型压缩？

主要发现

• PortaSpeech 在主观（CMOS）与客观评估指标上均达到最先进水平，语音质量与语调建模表现优于 FastSpeech 2 与 Glow-TTS。
• 仅使用 670 万个参数，PortaSpeech 的模型大小相比 FastSpeech 2 减少了约 4 倍，内存占用减少了约 3 倍，性能仅轻微下降。
• VAE 中的增强先验显著提升了语调建模能力，与简单高斯先验相比，CMOS-P 指标提升 0.194 分。
• 基于流的后处理网络使音频质量在 CMOS-Q 指标上提升 0.458 分（相比移除后处理网络），且优于标准卷积后处理网络。
• 语言编码器中的混合对齐机制使词级平均绝对时长误差减少 40.4ms，句级误差减少 0.44 秒，相比音素级硬性对齐。
• 消融实验表明，增强先验、基于流的后处理网络与混合对齐机制均对整体性能有显著贡献，完整模型取得最高 CMOS 得分。