[论文解读] VARA-TTS: Non-Autoregressive Text-to-Speech Synthesis based on Very Deep VAE with Residual Attention

Peng Liu, Yuewen Cao+5 more|arXiv (Cornell University)|Feb 12, 2021

Speech Recognition and Synthesis参考文献 40被引用 15

一句话总结

VARA-TTS 提出了一种非自回归文本到语音模型，采用非常深的变分自编码器（VDVAE）并结合残差注意力机制，实现从粗到细、逐层细化的文本到声学对齐。该模型在推理速度上比 Tacotron 2 快 16 倍，同时在语音质量上与 BVAE-TTS 等同类非自回归模型相当或更优，并通过分层潜在查询和联合语速预测器提升了对齐的鲁棒性。

ABSTRACT

This paper proposes VARA-TTS, a non-autoregressive (non-AR) text-to-speech (TTS) model using a very deep Variational Autoencoder (VDVAE) with Residual Attention mechanism, which refines the textual-to-acoustic alignment layer-wisely. Hierarchical latent variables with different temporal resolutions from the VDVAE are used as queries for residual attention module. By leveraging the coarse global alignment from previous attention layer as an extra input, the following attention layer can produce a refined version of alignment. This amortizes the burden of learning the textual-to-acoustic alignment among multiple attention layers and outperforms the use of only a single attention layer in robustness. An utterance-level speaking speed factor is computed by a jointly-trained speaking speed predictor, which takes the mean-pooled latent variables of the coarsest layer as input, to determine number of acoustic frames at inference. Experimental results show that VARA-TTS achieves slightly inferior speech quality to an AR counterpart Tacotron 2 but an order-of-magnitude speed-up at inference; and outperforms an analogous non-AR model, BVAE-TTS, in terms of speech quality.

研究动机与目标

• 解决 Tacotron 2 等自回归 TTS 模型存在的推理速度慢和鲁棒性差的问题。
• 通过将对齐学习整合到端到端框架中，克服非自回归 TTS 中的训练-推理不匹配问题。
• 通过利用分层 VAE 潜在变量作为查询，并逐层细化对齐，提升非自回归 TTS 中的对齐学习效果。
• 通过联合语速预测器和详细的 KL 损失调度机制，增强模型鲁棒性和语音质量。

提出的方法

• 使用非常深的变分自编码器（VDVAE），通过自底向上和自顶向下的路径建模梅尔频谱图，生成多时间分辨率的分层潜在变量。
• 将这些分层潜在变量作为残差注意力机制中的查询，实现从粗到细的粒度对齐逐层优化。
• 引入残差注意力模块，其中每一层均以先前层的对齐结果作为辅助输入，生成更精细的对齐，从而减轻单一层的负担。
• 应用详细的 Kullback-Leibler（KL）损失增益机制，通过按层调整 KL 权重，防止深层 VAE 层中的后验坍缩。
• 集成一个联合的语音级语速预测器，利用最粗粒度层的平均池化潜在表示来预测帧数，实现端到端训练。
• 采用单一目标函数进行端到端训练，避免使用独立的时长模块，减少训练与推理之间的不匹配。

实验结果

研究问题

• RQ1 非自回归 TTS 模型是否能在保持比自回归模型快 10 倍推理速度的同时，实现高质量语音？
• RQ2 分层 VAE 潜在变量能否作为注意力机制中对齐的高效且信息丰富的查询？
• RQ3 与单注意力机制相比，从粗到细的逐层残差注意力机制是否能提升对齐的鲁棒性和语音质量？
• RQ4 将语速预测器与主模型联合训练，是否能减少推理误差并提升泛化能力？
• RQ5 详细的 KL 损失调度机制是否能防止深层 VAE 层中的后验坍缩，并提升潜在表示质量？

主要发现

• VARA-TTS 的平均意见评分（MOS）为 3.88±0.20，优于 BVAE-TTS（3.33±0.18），同时保持相近的推理速度。
• 该模型实现比 Tacotron 2 快 16 倍的推理速度，在单张 RTX 2080 Ti GPU 上每句话的推理时间为 32.01 ms。
• 联合训练语速预测器相比独立预测器，在验证集上显著降低了语速预测误差，验证了其有效性。
• 详细的 KL 损失增益机制成功防止了后验坍缩，表现为所有层的累积 KL 曲线平滑且非平坦。
• 可视化结果表明，使用详细 KL 损失增益时，最粗粒度层的对齐更加清晰且结构化，表明潜在表示具有实际意义。
• 该模型在多说话人设置中表现出可扩展性，并展现出直接进行文本到波形合成的潜力，尽管初步实验中仍存在优化挑战。