[论文解读] Transformers in Speech Processing: A Survey

Siddique Latif, Aun Zaidi+5 more|arXiv (Cornell University)|Mar 21, 2023

Speech Recognition and Synthesis被引用 17

一句话总结

对 transformer 模型在语音处理中的全面综述，覆盖 ASR、TTS、翻译、增强、多模态应用以及对话系统，讨论挑战与未来方向。

ABSTRACT

The remarkable success of transformers in the field of natural language processing has sparked the interest of the speech-processing community, leading to an exploration of their potential for modeling long-range dependencies within speech sequences. Recently, transformers have gained prominence across various speech-related domains, including automatic speech recognition, speech synthesis, speech translation, speech para-linguistics, speech enhancement, spoken dialogue systems, and numerous multimodal applications. In this paper, we present a comprehensive survey that aims to bridge research studies from diverse subfields within speech technology. By consolidating findings from across the speech technology landscape, we provide a valuable resource for researchers interested in harnessing the power of transformers to advance the field. We identify the challenges encountered by transformers in speech processing while also offering insights into potential solutions to address these issues.

研究动机与目标

• 识别 transformer 在语音处理全景中的应用方式（ASR、合成、翻译、增强、对话、多模态任务）。
• 整合100余篇论文的发现，绘制基于 Transformer 的语音处理的当前趋势与技术路线。
• 突出挑战并提出未来在语音 Transformer 研究中的方向与潜在解决方案。

提出的方法

• 综述并综合语音处理领域的 Transformer 文献。
• 按应用领域对研究进行分类（ASR、神经 TTS、语音翻译、增强/改进、多模态、对话）。
• 解释 Transformer 的核心概念（自注意力、多头注意力、位置编码）及其与语音处理任务的相关性。
• 总结具有代表性的模型和预训练策略（wav2vec、wav2vec 2.0、Whisper、Conformer 等）。
• 讨论语音 Transformer 的未解问题与未来研究方向。

实验结果

研究问题

• RQ1 Transformer 架构在语音处理任务中的主要应用方式有哪些？
• RQ2 将 Transformer 应用于语音数据时的主要挑战有哪些，已有哪些解决方案？
• RQ3 基于 Transformer 的语音处理模型在性能和训练效率方面与传统的基于 RNN 的方法相比如何？
• RQ4 在 Transformer 驱动的语音处理研究中的关键趋势和未来方向是什么？

主要发现

• 由于自注意力，Transformers 能比传统 RNNs 更好地建模语音中的长程依赖。
• 多头注意力和可并行计算的特性提升了在大型语音数据集上的训练效率。
• 多种专门的语音 Transformer 模型（wav2vec、wav2vec 2.0、Whisper、Conformer、SpeechT5、VALL-E 等）在 ASR、TTS 与多语言任务上展示了最先进的效果。
• 自监督预训练（如 wav2vec、data2vec、Whisper）降低了对标签数据的需求，并支持跨语言和多语言的语音理解。
• Transformers 已拓展为混合型（Conformer）、端到端架构和多模态能力，以应对多样化的语音处理任务。
• 新兴趋势包括零-shot 与跨语言的 TTS/ASR、大规模预训练，以及多任务统一模型。