[论文解读] SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data

Ziqiang Zhang, Sanyuan Chen+9 more|arXiv (Cornell University)|Sep 30, 2022

Speech Recognition and Synthesis被引用 13

一句话总结

该论文提出SpeechLM，一种跨模态语音与语言模型，通过音素单元或隐层单元分词器在共享离散表征空间中统一语音与文本的预训练。通过利用未配对的文本数据，结合掩码单元预测和序列重建任务，并引入随机交换机制，SpeechLM在语音识别和语音翻译任务上显著优于仅使用语音的基线模型。

ABSTRACT

How to boost speech pre-training with textual data is an unsolved problem due to the fact that speech and text are very different modalities with distinct characteristics. In this paper, we propose a cross-modal Speech and Language Model (SpeechLM) to explicitly align speech and text pre-training with a pre-defined unified discrete representation. Specifically, we introduce two alternative discrete tokenizers to bridge the speech and text modalities, including phoneme-unit and hidden-unit tokenizers, which can be trained using a small amount of paired speech-text data. Based on the trained tokenizers, we convert the unlabeled speech and text data into tokens of phoneme units or hidden units. The pre-training objective is designed to unify the speech and the text into the same discrete semantic space with a unified Transformer network. We evaluate SpeechLM on various spoken language processing tasks including speech recognition, speech translation, and universal representation evaluation framework SUPERB, demonstrating significant improvements on content-related tasks. Code and models are available at https://aka.ms/SpeechLM.

研究动机与目标

• 为解决利用未配对文本数据改进语音预训练的挑战，该数据因模态差异而未被充分利用。
• 设计语音与文本模态之间的统一接口，以实现有效的跨模态对齐与表征学习。
• 开发可解释且可学习的离散分词器——音素单元与隐层单元分词器，将语音与文本映射到共享语义空间。
• 证明仅使用少量配对数据即可显著提升语音模型在下游语音语言任务上的性能。

提出的方法

• 提出两种离散分词器——音素单元与隐层单元分词器，利用少量配对语音-文本数据或现有音素词典，将语音与文本映射到共享语义空间。
• 引入基于单元的掩码语言建模（UMLM），从语音输入中预测被掩码的单元标记，实现在未配对数据上的自监督学习。
• 采用基于单元的连接时序分类（UCTC），从被掩码的单元序列重建完整文本序列，强化序列级对齐。
• 应用随机交换机制，在将特征输入共享Transformer编码器前，交换语音与文本模态的中间表征，增强跨模态对齐。
• 使用统一的Transformer网络在共享离散空间中联合编码两种模态，简化架构并提升泛化能力。
• 通过UMLM与UCTC目标的联合训练，实现端到端的语音与文本表征联合优化。

Figure 1: SpeechLM pre-training framework, which consists of a Speech Transformer and a Shared Transformer, and equips with discrete tokenizers and the random swapping mechanism.

实验结果

研究问题

• RQ1 能否在无需大量配对语音-文本数据的前提下，有效利用未配对的文本数据来提升语音表征学习？
• RQ2 音素单元与隐层单元分词器在将语音与文本统一到共享语义空间方面的能力如何比较？
• RQ3 随机交换机制对跨模态对齐及语音与语言建模下游性能的影响如何？
• RQ4 在文本增强的语音预训练中，需要多少文本数据才能达到最优性能？
• RQ5 使用共享离散表征空间是否能提升在ASR和语音翻译等多样化语音语言任务上的泛化能力？

主要发现

• SpeechLM在LibriSpeech测试集-other上达到9.1 WER（无语言模型），当应用随机交换机制后，WER显著降低至8.1，证实其在跨模态对齐中的关键作用。
• SpeechLM-P（音素单元分词器）与SpeechLM-H（隐层单元分词器）在ASR任务上的性能相当，表明两种分词器在统一语音与文本表征方面均有效。
• 使用40K句未配对文本数据即可达到近似最优性能，表明在相对较小的文本语料下，词汇级建模已足够。
• 当使用未配对数据训练的纯文本分词器时性能下降，表明配对数据对准确模态对齐至关重要。
• 逐层可视化结果表明，随着特征通过共享Transformer的深层，语音与文本表征逐步对齐至共享语义空间。
• SpeechLM在多个任务上显著优于仅使用语音的基线模型，包括自动语音识别、语音翻译和SUPERB基准，展现出强大的泛化与迁移能力。

Figure 2: Two alternative tokenizers for speech and text, (a) Phone-unit tokenizer; (b) Hidden-unit tokenizer.