[论文解读] Seed-TTS: A Family of High-Quality Versatile Speech Generation Models

Philip Anastassiou, Jiawei Chen+44 more|arXiv (Cornell University)|Jun 4, 2024

Speech Recognition and Synthesis被引用 4

一句话总结

Seed-TTS 引入了一类高质量、自回归且基于扩散过程的文本到语音模型，能够生成接近真实人类语音、富有表现力且可控制的语音。该模型在零样本上下文学习、说话人相似度和自然度方面达到最先进性能，采用了一种新颖的自蒸馏方法实现音色解耦，并通过强化学习方法提升了模型的鲁棒性和可控性。

ABSTRACT

We introduce Seed-TTS, a family of large-scale autoregressive text-to-speech (TTS) models capable of generating speech that is virtually indistinguishable from human speech. Seed-TTS serves as a foundation model for speech generation and excels in speech in-context learning, achieving performance in speaker similarity and naturalness that matches ground truth human speech in both objective and subjective evaluations. With fine-tuning, we achieve even higher subjective scores across these metrics. Seed-TTS offers superior controllability over various speech attributes such as emotion and is capable of generating highly expressive and diverse speech for speakers in the wild. Furthermore, we propose a self-distillation method for speech factorization, as well as a reinforcement learning approach to enhance model robustness, speaker similarity, and controllability. We additionally present a non-autoregressive (NAR) variant of the Seed-TTS model, named $ ext{Seed-TTS}_ ext{DiT}$, which utilizes a fully diffusion-based architecture. Unlike previous NAR-based TTS systems, $ ext{Seed-TTS}_ ext{DiT}$ does not depend on pre-estimated phoneme durations and performs speech generation through end-to-end processing. We demonstrate that this variant achieves comparable performance to the language model-based variant and showcase its effectiveness in speech editing. We encourage readers to listen to demos at \url{https://bytedancespeech.github.io/seedtts_tech_report}.

研究动机与目标

• 开发一种语音生成的基础模型，实现在多种说话人和语言下达到类人水平的自然度与表现力。
• 仅通过一段简短的注册语音片段，在无需微调的情况下，实现对任意说话人的零样本上下文学习。
• 提升模型对语音属性（如情感、语速、音色）的可控性。
• 通过消除对预估音素时长的依赖，解决现有非自回归 TTS 模型的局限性。
• 通过多步验证和水印技术等安全机制，确保负责任的 AI 部署。

提出的方法

• 采用四阶段流水线：语音标记化器、自回归标记语言模型、基于扩散过程的标记优化模型，以及用于高保真语音合成的声学声码器。
• 采用自蒸馏技术在不修改模型结构或损失函数的前提下解耦音色因子，从而实现卓越的语音转换性能。
• 在训练后应用强化学习，通过优化人类偏好来提升说话人相似度、鲁棒性与可控性。
• 提出一种非自回归变体 $ ext{Seed-TTS}_{ ext{DiT}}$，基于完全的扩散架构，端到端生成语音潜在表征，无需时长预测。
• 利用比以往系统多出数个数量级规模的预训练数据，以支持涌现的泛化能力与上下文学习能力。
• 实施多层级水印与多步说话人验证，防止滥用并确保伦理部署。

实验结果

研究问题

• RQ1 大规模自回归 TTS 模型是否能在无需微调的情况下，在零样本上下文学习中实现类人水平的自然度与说话人相似度？
• RQ2 在不修改模型结构或损失函数的前提下，自蒸馏在解耦音色因子方面的有效性如何？
• RQ3 强化学习在提升语音生成中的说话人相似度、鲁棒性与可控性方面，能带来多大程度的改善？
• RQ4 完全基于扩散过程的非自回归 TTS 模型是否能与自回归模型性能相当，同时实现无需时长估计的端到端生成？
• RQ5 该模型在语音编辑任务（如内容恢复与语速调整）中的表现如何？

主要发现

• Seed-TTS 在零样本上下文学习中达到最先进性能，在英语上的 SIM 得分为 0.790，中文为 0.809，优于自回归变体与声码器重建基线模型。
• 自蒸馏方法在不改变模型结构或损失函数的前提下，有效解耦音色因子，实现了语音转换任务的 SOTA 性能。
• 训练后应用强化学习显著提升了说话人相似度与鲁棒性，增强了整体可控性与输出质量。
• $ ext{Seed-TTS}_{ ext{DiT}}$ 在英语上达到 1.733 的 WER 与 0.790 的 SIM，在中文上达到 1.178 的 WER 与 0.809 的 SIM，性能与自回归变体相当，证明了扩散框架中强大的序列建模能力。
• 在内容编辑任务中，$ ext{Seed-TTS}_{ ext{DiT}}$ 能够以高说话人相似度与低 WER 恢复被掩码的音频，表现出对不同掩码率的强鲁棒性。
• 在语速编辑任务中，$ ext{Seed-TTS}_{ ext{DiT}}$ 能自然调整发音并插入静音以保持自然度，优于统一加速/减速的方法。