[论文解读] SpeechNet: A Universal Modularized Model for Speech Processing Tasks

Yi‐Chen Chen, Po-Han Chi+8 more|arXiv (Cornell University)|May 7, 2021

Speech Recognition and Synthesis参考文献 67被引用 6

一句话总结

本文提出 SpeechNet，一种通用模块化模型，通过共享编码器和解码器，将多种语音处理任务——如自动语音识别（ASR）、语音增强（SE）、说话人分类（SC）、文本到语音合成（TTS）和语音转换（VC）——统一到单一的文本到文本框架中。实验表明，多任务学习可提升性能，尤其在 ASR 任务上表现显著，同时开源代码以推动模块化、多任务语音模型的后续研究。

ABSTRACT

There is a wide variety of speech processing tasks ranging from extracting content information from speech signals to generating speech signals. For different tasks, model networks are usually designed and tuned separately. If a universal model can perform multiple speech processing tasks, some tasks might be improved with the related abilities learned from other tasks. The multi-task learning of a wide variety of speech processing tasks with a universal model has not been studied. This paper proposes a universal modularized model, SpeechNet, which treats all speech processing tasks into a speech/text input and speech/text output format. We select five essential speech processing tasks for multi-task learning experiments with SpeechNet. We show that SpeechNet learns all of the above tasks, and we further analyze which tasks can be improved by other tasks. SpeechNet is modularized and flexible for incorporating more modules, tasks, or training approaches in the future. We release the code and experimental settings to facilitate the research of modularized universal models and multi-task learning of speech processing tasks.

研究动机与目标

• 开发一种能够在一个统一框架内处理广泛语音处理任务的通用模型。
• 探究在多种语音任务之间进行多任务学习是否可通过知识迁移提升模型性能。
• 设计一种模块化架构，支持新任务、新模块或新训练策略的灵活集成。
• 发布代码与实验设置，以加速模块化、多任务语音处理模型的研究。

提出的方法

• 将所有语音处理任务视为输入-输出对：输入为语音/文本，输出为语音/文本，从而实现统一框架。
• 使用六个核心模块：韵律编码器、说话人编码器、内容编码器、音频解码器、文本编码器和文本解码器，分别处理特定模态。
• 通过模块拼接构建特定任务的处理流程，例如 ASR（语音输入 → 文本输出）或 TTS（文本输入 → 语音输出）。
• 通过在多个任务上联合训练并共享参数，实施多任务学习（MTL），并使用梯度累积来处理多个目标。
• 采用 AutoLoss 和 PCGrad 等优化策略，以缓解多任务训练中的梯度冲突。
• 使用统一损失函数，结合自适应加权（AutoLoss）与梯度重加权（PCGrad），以稳定跨多样化任务的训练过程。

实验结果

研究问题

• RQ1 一个单一的通用模型是否能通过多任务学习有效学习多种不同的语音处理任务？
• RQ2 哪些语音处理任务组合在联合训练中能从知识迁移中获益？
• RQ3 优化策略如 AutoLoss 和 PCGrad 对五任务多任务学习的训练稳定性和性能有何影响？
• RQ4 与单任务训练相比，多任务学习在不同语音任务上的性能提升程度如何？
• RQ5 SpeechNet 的模块化设计是否可扩展以支持新任务或训练范式（如迁移学习或元学习）？

主要发现

• 在双任务学习中，ASR 性能显著提升，尤其当与 SE、SC、TTS 或 VC 一起训练时，表明内容表征中存在强烈的知识迁移。
• SE 在与 ASR 联合训练时略有改善，特别是在 PESQ 和 STOI 指标上，表明韵律和内容线索有助于语音增强。
• SC 在与 TTS 一起训练时性能提升，表明文本到语音生成有助于学习说话人特异性特征。
• VC 性能因与 ASR 联合训练而略有提升，表明 ASR 提供的更优内容对齐可提升语音转换质量。
• 在标准优化策略下，五任务学习未能超越单任务学习，但仅当同时使用 AutoLoss 和 PCGrad 时，性能才得以稳定。
• 消融实验确认优化策略的选择至关重要：若无 PCGrad，SC 无法收敛；若仅使用 PCGrad，ASR 性能最差，凸显组合策略的必要性。