[论文解读] Multilingual Byte2Speech Models for Scalable Low-resource Speech Synthesis

Mutian He, Jingzhou Yang+2 more|arXiv (Cornell University)|Mar 5, 2021

Speech Recognition and Synthesis参考文献 30被引用 15

一句话总结

本文提出了一种多语言的Byte2Speech框架，将原始UTF-8字节映射为声谱图，实现了无需语言特定资源（如词典、G2P规则或语言学专业知识）的端到端多语言文本到语音合成。该模型性能与基于音素的系统相当，并可在仅40秒转录数据的情况下实现对低资源语言的少样本适应，同时一种新颖的剪枝方法揭示了共享多语言架构中涌现的语言特定子网络。

ABSTRACT

To scale neural speech synthesis to various real-world languages, we present a multilingual end-to-end framework that maps byte inputs to spectrograms, thus allowing arbitrary input scripts. Besides strong results on 40+ languages, the framework demonstrates capabilities to adapt to new languages under extreme low-resource and even few-shot scenarios of merely 40s transcribed recording, without the need of per-language resources like lexicon, extra corpus, auxiliary models, or linguistic expertise, thus ensuring scalability. While it retains satisfactory intelligibility and naturalness matching rich-resource models. Exhaustive comparative and ablation studies are performed to reveal the potential of the framework for low-resource languages. Furthermore, we propose a novel method to extract language-specific sub-networks in a multilingual model for a better understanding of its mechanism.

研究动机与目标

• 开发一种可扩展的、低资源的文本到语音合成框架，消除对每种语言特有的资源（如词典、G2P规则或语言学专业知识）的依赖。
• 仅使用40秒转录音频，无需额外数据或辅助模型，即可实现对新语言的少样本适应。
• 研究多语言模型在低资源设置下如何学习并跨语言迁移知识。
• 通过参数剪枝识别语言特定子网络，提供一种解释多语言TTS模型的机制。

提出的方法

• 模型采用12层Transformer TTS框架，输入标记为原始UTF-8字节，无需针对不同书写系统进行特定预处理，即可支持所有Unicode脚本。
• 语言和说话人嵌入与编码器输出拼接，直接将语言ID输入到输入中未带来性能提升。
• 训练采用分层、语言均衡策略，在43种语言和109名说话人的共900小时多语言数据上进行，仅使用基础预处理（如数字归一化和中文分词）。
• 采用联合训练策略，实现对新语言（如罗马尼亚语和希腊语）的少样本适应，仅需不到1分钟音频。
• 提出一种新颖的语言特定剪枝方法，利用源语言（如德语）的显著性分数提取子网络，随后在目标语言上微调以评估子网络功能。
• 该框架基于开源资源构建，包含公开的处理流程和音频演示，确保可复现性。

实验结果

研究问题

• RQ1 在涵盖多种书写系统和语言的训练下，多语言TTS模型是否能在不使用任何语言特定资源的情况下泛化到新的低资源语言？
• RQ2 在仅使用40秒转录数据的极小样本设置下，模型能达到多高的语音合成质量？
• RQ3 语言之间的相似性在多语言TTS框架中的迁移学习和模型适应中起到何种作用？
• RQ4 是否可以在共享的多语言Transformer模型中识别并验证涌现的语言特定子网络？
• RQ5 语言结构和音系相似性在实现跨语言有效少样本适应中起到什么作用？

主要发现

• Byte2Speech模型在43种语言上实现了与基于音素的模型相当的语音合成质量，即使没有音素级输入或语言特定预处理。
• 该模型仅需40秒转录音频即可实现对新语言的少样本适应，性能与在大量数据上训练的基线模型相当。
• 基于德语显著性进行的剪枝在粤语上导致54.9%的性能下降，而随机剪枝则无此效果，表明该方法成功识别出语言特定神经元。
• 模型表明，语言特定子网络在多语言训练过程中自然涌现，且语言间相似性越高，迁移性能越好。
• 全面的消融实验确认，模型对输入变化具有鲁棒性，且语言均衡的分层训练对泛化至关重要。
• 该框架支持对多种书写系统（包括印度语系、中文和非拉丁字母）的零样本和少样本适应，无需针对书写系统进行工程设计。