[论文解读] Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages

Felix F. Wu, Kwangyoun Kim+5 more|arXiv (Cornell University)|May 2, 2022

Speech Recognition and Synthesis被引用 5

一句话总结

Wav2Seq 通过将伪自动语音识别（ASR）任务建模为将原始音频转录为离散的伪子词标记，提出了一种自监督方法，以联合预训练语音到文本模型中的编码器和解码器。该方法在端到端语音命名实体识别任务中取得了最先进（SOTA）的结果，并在无需额外文本数据的情况下，持续提升了 20 种语言对在语音到文本翻译任务中的性能，同时在低资源自动语音识别（ASR）设置下缩小了编码器-解码器模型与 CTC 模型之间的性能差距。

ABSTRACT

We introduce Wav2Seq, the first self-supervised approach to pre-train both parts of encoder-decoder models for speech data. We induce a pseudo language as a compact discrete representation, and formulate a self-supervised pseudo speech recognition task -- transcribing audio inputs into pseudo subword sequences. This process stands on its own, or can be applied as low-cost second-stage pre-training. We experiment with automatic speech recognition (ASR), spoken named entity recognition, and speech-to-text translation. We set new state-of-the-art results for end-to-end spoken named entity recognition, and show consistent improvements on 20 language pairs for speech-to-text translation, even when competing methods use additional text data for training. Finally, on ASR, our approach enables encoder-decoder methods to benefit from pre-training for all parts of the network, and shows comparable performance to highly optimized recent methods.

研究动机与目标

• 为解决自监督预训练中的不平衡问题，即通常仅预训练编码器，而解码器则随机初始化或借用自自然语言处理（NLP）模型。
• 仅使用原始音频，无需对齐文本，实现语音到文本模型中编码器和解码器组件的端到端联合预训练。
• 在低资源设置下提升性能，特别是针对传统上表现不如 CTC 模型的序列到序列（seq2seq）模型。
• 证明紧凑的离散伪语言表示可作为联合预训练的有效自监督目标。
• 实现灵活且低成本的第二阶段预训练，以增强现有预训练编码器（如 HuBERT 和 XLS-R）的性能。

提出的方法

• 通过向量量化和聚类算法，将原始语音表征聚类为离散的子词单元，从而生成伪语言。
• 构建一个自监督的伪 ASR 任务，使模型学习将原始音频转录为伪子词标记序列。
• 使用该伪 ASR 目标，通过伪标记上的交叉熵损失，对完整的编码器-解码器架构进行端到端预训练。
• 通过将输入和输出嵌入层替换为真实语言嵌入（如英语子词或字符），在下游任务上微调模型。
• 将该方法作为第二阶段预训练步骤，应用于现有预训练编码器（如 HuBERT 或 XLS-R）之上，以极低的额外成本提升性能。
• 使用长度压缩和去重技术，生成紧凑且有意义的伪子词序列，以在语义相关性和序列效率之间取得平衡。

Figure 1: Pseudo ASR task. The Wav2Seq model is pre-trained to transcribe an audio input into a sequence of pseudo language tokens. The embedding layers are replaced during fine-tuning on real ASR or speech translation tasks. “ $<$ sos $>$ ” is the start-of-sequence token and “ $<$ eos $>$ ” is the

实验结果

研究问题

• RQ1 在语音到文本模型中，联合预训练编码器和解码器是否能相比仅预训练编码器带来性能提升？
• RQ2 使用以离散伪子词作为目标的自监督伪 ASR 任务，是否能在无任何文本监督的情况下实现有效的预训练？
• RQ3 Wav2Seq 在低资源设置下的表现如何，特别是与 CTC 模型及使用外部语言模型的模型相比？
• RQ4 Wav2Seq 是否可作为低成本的第二阶段预训练方法，有效提升现有预训练编码器（如 HuBERT 或 XLS-R）的性能？
• RQ5 伪子词表示的选择（例如去重、BPE）在多大程度上影响下游性能？

主要发现

• 在 SLUE-VoxPopuli SNER 基准测试中，使用 HuBERT-large 初始化的 Wav2Seq 在所有评估模型中取得了最佳的端到端性能。
• 在语音到文本翻译任务中，Wav2Seq 在 20 种语言对上优于使用 HuBERT 或 XLS-R 初始化的模型，并达到了使用额外机器翻译数据训练的模型的性能水平。
• 在低资源 ASR（10 小时标注数据）设置下，Wav2Seq 缩小了编码器-解码器模型与 CTC 模型之间的性能差距，显著提升了后者的性能。
• 当用作第二阶段预训练时，Wav2Seq 在低资源和高资源语音翻译任务上均提升了基于 HuBERT-large 的模型性能，甚至超过了参数量大 2–3 倍的模型。
• 在 LibriSpeech dev-other 上，使用伪子词的伪 ASR 任务实现了 38.1% 的词错误率（WER），并实现了 17.4% 的长度压缩率，优于 BPE 和字符级目标。
• 消融实验表明，去重和基于 BPE 的子词分词对性能至关重要，相比原始字符，可将 WER 降低 6.0 个百分点。

Figure 2: Mapping an audio input into pseudo subwords. Here we use the first 0.6 seconds of a real audio from LibriSpeech [ 41 ] training set as an example. We use models with 25 clusters and 1000 BPE tokens in this example. Pseudo subword is a compact representation (in terms of the sequence length