[论文解读] Semi-Supervised Spoken Language Understanding via Self-Supervised Speech and Language Model Pretraining

Cheng-I Lai, Yung-Sung Chuang+3 more|arXiv (Cornell University)|Oct 26, 2020

Topic Modeling参考文献 37被引用 4

一句话总结

本文提出了一种半监督端到端语音语言理解（SLU）框架，通过使用预训练的自监督ASR和BERT模型，直接从原始语音中联合预测文本、意图和槽位标签。该方法通过在有监督或无监督预训练中利用未标注语音数据，在ATIS数据集上实现了与使用真值文本模型相当的性能，即使在噪声条件下也表现出色，展示了在极少标注数据下的强鲁棒性和语义泛化能力。

ABSTRACT

Much recent work on Spoken Language Understanding (SLU) is limited in at least one of three ways: models were trained on oracle text input and neglected ASR errors, models were trained to predict only intents without the slot values, or models were trained on a large amount of in-house data. In this paper, we propose a clean and general framework to learn semantics directly from speech with semi-supervision from transcribed or untranscribed speech to address these issues. Our framework is built upon pretrained end-to-end (E2E) ASR and self-supervised language models, such as BERT, and fine-tuned on a limited amount of target SLU data. We study two semi-supervised settings for the ASR component: supervised pretraining on transcribed speech, and unsupervised pretraining by replacing the ASR encoder with self-supervised speech representations, such as wav2vec. In parallel, we identify two essential criteria for evaluating SLU models: environmental noise-robustness and E2E semantics evaluation. Experiments on ATIS show that our SLU framework with speech as input can perform on par with those using oracle text as input in semantics understanding, even though environmental noise is present and a limited amount of labeled semantics data is available for training.

研究动机与目标

• 解决以往SLU系统依赖真值文本、仅预测意图或需要大量内部数据集的局限性。
• 在有限标注语义数据下，实现从原始语音端到端SLU的半监督学习。
• 在真实环境条件下（包括环境噪声和端到端语义理解）评估SLU模型。
• 探究无监督语音表示学习（如wav2vec）在下游SLU任务中的有效性。
• 开发一个统一框架，无需额外损失调整或ASR的n-best假设，直接从语音中联合预测文本、意图和槽位标签。

提出的方法

• 该框架结合了预训练的端到端ASR模型与在有限标注SLU数据上微调的自监督语言模型（如BERT）。
• 评估了两种预训练策略：在转录语音上进行有监督ASR预训练，以及在未转录语音上使用wav2vec进行无监督预训练。
• 通过单一端到端架构，联合执行文本生成、意图分类和槽位标注。
• 在无监督预训练中，使用wav2vec 1.0的上下文向量（c）作为输入特征，并应用下采样层以减少序列长度。
• 在训练期间使用MS-SNSD噪声文件在多个信噪比水平（0–40 dB）下应用噪声增强，以提升鲁棒性。
• 该框架避免了标签投影、输出序列化或n-best假设解码，保持了简洁且可泛化的流程。

Fig. 1 : Comparison of input/output pairs of our proposed framework with past work, which are categorized as one of: (A) NLU, which assumes oracle text as input instead of speech, (B) predicting intent only from speech, ignoring their slot values, and (C) predicting text, intent, and slots from spee

实验结果

研究问题

• RQ1 直接从语音端到端训练的SLU模型能否实现与使用真值文本转录的模型相当的性能？
• RQ2 在标注数据有限的情况下，使用自监督语音表示（如wav2vec）进行无监督预训练对SLU的有效性如何？
• RQ3 噪声增强在多大程度上提升了SLU模型在真实环境中的鲁棒性？
• RQ4 是否可以构建一个统一框架，无需额外损失工程或ASR后处理，直接从语音中联合预测文本、意图和槽位标签？
• RQ5 使用自监督语音表示预训练的SLU模型性能，与从有监督ASR预训练微调的模型相比如何？

主要发现

• 所提出的端到端SLU框架在噪声ATIS测试集上实现了97.4%的意图F1和95.46%的槽位F1，仅比干净测试集下降1–2%，在噪声条件下相比混合ASR+BERT模型高出近40%。
• 使用wav2vec 1.0的上下文向量（c）并配合下采样层，模型在干净ATIS上达到95.67%的意图F1和85.64%的槽位F1，显著缩小了与有监督预训练的差距。
• 采用wav2vec c特征的两阶段基线模型实现了89.86%的意图F1和67.33%的槽位F1，表明自监督语音表示无需转录文本即可支持有意义的语义学习。
• 在五个不同信噪比水平（0–40 dB）下应用噪声增强，显著减少了性能下降，在恶劣声学条件下仍保持高准确率。
• 采用自监督预训练的端到端模型性能与真值文本基线模型相当，进入5%的“语料错误”范围，展示了强大的语义泛化能力。
• 该框架优于以往需要标签投影、输出序列化或n-best ASR假设的方法，提供了更简洁且更具泛化能力的解决方案。

Fig. 2 : Our proposed semi-supervised learning framework with ASR and BERT for joint intent classification (IC) and slot labeling (SL) directly from speech. (A) shows the end-to-end approach, in which E2E ASR and BERT are trained jointly by predicting text and IC/SL. (B) shows the 2-Stage baseline,