[论文解读] SyntaSpeech: Syntax-Aware Generative Adversarial Text-to-Speech

Zhenhui Ye, Zhou Zhao+2 more|arXiv (Cornell University)|Apr 25, 2022

Speech Recognition and Synthesis被引用 8

一句话总结

SyntaSpeech 提出了一种语法感知的非自回归文本到语音模型，通过基于依存关系的图编码器整合树状结构的语法信息，以改善韵律建模。通过在 PortaSpeech 中引入语法特征以增强时长和音高预测，并用多长度对抗训练替代基于流的后处理网络，SyntaSpeech 在英语、中文及多说话人数据集上均实现了音频自然度和韵律表现力的最先进性能。

ABSTRACT

The recent progress in non-autoregressive text-to-speech (NAR-TTS) has made fast and high-quality speech synthesis possible. However, current NAR-TTS models usually use phoneme sequence as input and thus cannot understand the tree-structured syntactic information of the input sequence, which hurts the prosody modeling. To this end, we propose SyntaSpeech, a syntax-aware and light-weight NAR-TTS model, which integrates tree-structured syntactic information into the prosody modeling modules in PortaSpeech \cite{ren2021portaspeech}. Specifically, 1) We build a syntactic graph based on the dependency tree of the input sentence, then process the text encoding with a syntactic graph encoder to extract the syntactic information. 2) We incorporate the extracted syntactic encoding with PortaSpeech to improve the prosody prediction. 3) We introduce a multi-length discriminator to replace the flow-based post-net in PortaSpeech, which simplifies the training pipeline and improves the inference speed, while keeping the naturalness of the generated audio. Experiments on three datasets not only show that the tree-structured syntactic information grants SyntaSpeech the ability to synthesize better audio with expressive prosody, but also demonstrate the generalization ability of SyntaSpeech to adapt to multiple languages and multi-speaker text-to-speech. Ablation studies demonstrate the necessity of each component in SyntaSpeech. Source code and audio samples are available at https://syntaspeech.github.io

研究动机与目标

• 为解决非自回归文本到语音模型因缺乏语法结构感知能力而导致的韵律建模局限性。
• 将树状结构的语法信息（通过依存句法分析）整合到非自回归文本到语音框架的韵律建模流程中。
• 通过用多长度对抗训练替代基于流的后处理网络，简化训练流程并提升推理速度。
• 在多种语言和说话人条件下展示文本到语音合成的泛化能力。

提出的方法

• 从输入句子的依存树构建语法图，将词语表示为节点，句法关系表示为边。
• 使用图神经网络（基于GCN的编码器）聚合图中的句法特征，生成词级别的句法编码。
• 将句法编码注入 PortaSpeech 的时长预测器和变分生成器中，以提升韵律预测性能。
• 用多长度对抗判别器替代 PortaSpeech 中的基于流的后处理网络，以增强音频真实感并加快推理速度。
• 通过在多个感受野尺寸上使用对抗损失进行训练，以提升波形质量和泛化能力。
• 通过解耦时长、音高和能量预测实现解耦的韵律建模，并借助句法上下文增强性能。

实验结果

研究问题

• RQ1 树状结构的语法信息能否提升非自回归文本到语音系统中的韵律建模？
• RQ2 整合语法图编码如何影响合成语音的质量和表现力？
• RQ3 用多长度对抗训练替代基于流的后处理网络，是否能在简化训练流程的同时提升音频质量并加速推理？
• RQ4 所提出的模型能否在不同语言和多说话人设置下实现良好泛化？

主要发现

• 在 LJSpeech 数据集上，SyntaSpeech 的 MOS 达到 4.13 ± 0.08，优于 FastSpeech2（3.94 ± 0.09）和 PortaSpeech（4.02 ± 0.08），在主观质量评估中表现更优。
• 在 Biaobei 中文数据集上，SyntaSpeech 的 MOS 达到 4.19 ± 0.07，展现出在非英语、声调语言中的强大性能。
• 在多说话人 LibriTTS 基准测试中，SyntaSpeech 的 MOS 达到 4.10 ± 0.08，表现出对说话人差异的强鲁棒性。
• 消融实验表明，若移除语法图编码器，CMOS-P 最多下降 0.188 分，证实其在韵律建模中的关键作用。
• 与基于流的后处理网络相比，多长度对抗训练在 LJSpeech 上使 CMOS-Q 提升 0.071 分，且未造成韵律质量的显著下降。
• 将语法图替换为完全图后，LJSpeech 上的 CMOS-P 下降 0.160 分，证实语法结构本身至关重要，而不仅仅是图的连通性。