[论文解读] Review of end-to-end speech synthesis technology based on deep learning

Zhaoxi Mu, Xinyu Yang+1 more|arXiv (Cornell University)|Apr 20, 2021

Speech Recognition and Synthesis参考文献 192被引用 20

一句话总结

本文综述了端到端深度学习语音合成（TTS）系统，分析其三大核心组件——文本前端、声学模型和声码器——并根据设计重点对比不同方法。文章指出当前最先进的性能已接近人类语音水平，并指出了未来在细粒度风格控制、无监督表征学习、完全端到端训练，以及从图像生成和ASR/NMT迁移学习等方面的发展方向。

ABSTRACT

As an indispensable part of modern human-computer interaction system, speech synthesis technology helps users get the output of intelligent machine more easily and intuitively, thus has attracted more and more attention. Due to the limitations of high complexity and low efficiency of traditional speech synthesis technology, the current research focus is the deep learning-based end-to-end speech synthesis technology, which has more powerful modeling ability and a simpler pipeline. It mainly consists of three modules: text front-end, acoustic model, and vocoder. This paper reviews the research status of these three parts, and classifies and compares various methods according to their emphasis. Moreover, this paper also summarizes the open-source speech corpus of English, Chinese and other languages that can be used for speech synthesis tasks, and introduces some commonly used subjective and objective speech quality evaluation method. Finally, some attractive future research directions are pointed out.

研究动机与目标

• 系统性回顾基于端到端深度学习的TTS技术，重点关注建模、训练和推理方面的最新进展。
• 基于设计与性能，分析并比较TTS三大核心组件（文本前端、声学模型、声码器）的方法。
• 总结公开可用的多语言语音语料库及TTS研究的标准评估指标。
• 识别TTS中的关键挑战与未来研究方向，包括风格控制、表征学习和完全端到端框架。
• 探索将图像生成、机器翻译和自动语音识别等相关领域技术迁移至TTS，以提升性能与数据效率的潜力。

提出的方法

• 根据文本前端（如基于音素、子词或端到端分词）、声学建模（如Tacotron、FastSpeech、ClariNet）和声码器设计（如WaveNet、WaveGlow、基于WaveNet的自回归或流模型）对TTS方法进行分类与比较。
• 回顾深度神经网络（特别是RNN、Transformer和自注意力机制）在建模语音序列中长距离依赖关系中的应用。
• 分析中间表征（如梅尔频谱图、原始波形和语言特征）作为声码器条件输入的作用。
• 研究声码器中的自回归与基于流的生成模型，包括归一化流和对抗性训练在高质量语音生成中的应用。
• 讨论通过结合TTS与ASR、说话人嵌入和情感识别模型，实现多任务学习与知识蒸馏的整合方法。
• 提出利用无监督表征学习与元学习减少对大规模标注语音-文本配对数据的依赖，尤其针对低资源语言。

实验结果

研究问题

• RQ1 文本前端、声学模型和声码器中不同架构如何影响端到端TTS系统的质量与效率？
• RQ2 当前TTS系统在建模细粒度语音风格（如情感、语调和节奏）方面，尤其是在词或短语层面，存在哪些关键局限性？
• RQ3 无监督或自监督表征学习在多大程度上可减少对大规模人工转录语音-文本数据集的需求？
• RQ4 能否实现完全端到端的TTS模型，直接从文本映射到原始波形，并在性能上超越包含中间声学特征的模块化流水线？
• RQ5 如何将图像生成、机器翻译和自动语音识别领域的技术适配以提升TTS性能与数据效率？

主要发现

• 基于深度学习的最先进端到端TTS模型在自然度和可懂度方面已能合成几乎与人类语音无法区分的语音。
• Tacotron 2和WaveNet等模型实现了高感知质量，其MOS（平均意见分）在标准基准上接近人类水平表现。
• 与基于RNN的模型相比，Transformer-based TTS模型中注意力机制与残差连接的集成显著改善了对齐效果并降低了训练不稳定性。
• 基于归一化流（如WaveGlow）和自回归模型（如WaveNet）的声码器组件显著提升了语音质量，同时保持了较高的推理速度。
• 尽管已有进展，当前系统在精确控制语音风格（尤其是情感与语调）方面仍存在困难，主要受限于训练数据有限且标注质量较差。
• 低资源语言缺乏足够的文本-语音配对数据仍是主要障碍，目前大多数SOTA系统仍局限于英语和中文。