[论文解读] Towards Semi-Supervised Semantics Understanding from Speech

Cheng-I Lai, Jin Cao+2 more|arXiv (Cornell University)|Nov 11, 2020

Speech Recognition and Synthesis参考文献 69被引用 6

一句话总结

本文提出了一种用于语音理解（SLU）的半监督端到端框架，通过在有限标注数据上微调预训练的自动语音识别（ASR）和BERT模型，直接将原始语音映射到意图和槽位预测。该方法在噪声环境下和标注数据极少的情况下，性能与使用原始文本输入的模型相当，并引入了一种新型的槽位编辑 $F_1$ 评估指标用于端到端评估。

ABSTRACT

Much recent work on Spoken Language Understanding (SLU) falls short in at least one of three ways: models were trained on oracle text input and neglected the Automatics Speech Recognition (ASR) outputs, models were trained to predict only intents without the slot values, or models were trained on a large amount of in-house data. We proposed a clean and general framework to learn semantics directly from speech with semi-supervision from transcribed speech to address these. Our framework is built upon pretrained end-to-end (E2E) ASR and self-supervised language models, such as BERT, and fine-tuned on a limited amount of target SLU corpus. In parallel, we identified two inadequate settings under which SLU models have been tested: noise-robustness and E2E semantics evaluation. We tested the proposed framework under realistic environmental noises and with a new metric, the slots edit F1 score, on two public SLU corpora. Experiments show that our SLU framework with speech as input can perform on par with those with oracle text as input in semantics understanding, while environmental noises are present, and a limited amount of labeled semantics data is available.

研究动机与目标

• 解决SLU模型在真实部署中常见的环境噪声下鲁棒性不足的问题，该问题在基准测试中尚未得到充分探索。
• 克服现有SLU模型的局限性，即要么需要大规模内部标注数据集，要么仅预测意图而不预测槽位值。
• 通过引入一种端到端评估指标——槽位编辑 $F_1$，改进评估实践，该指标考虑了ASR假设与真实转录之间长度差异的影响。
• 开发一种统一的半监督学习框架，利用未标注的转录语音和自监督语言模型，降低对大规模标注语义数据的依赖。

提出的方法

• 在有限标注SLU数据上微调一个联合端到端模型，该模型结合了端到端ASR和掩码语言模型（如BERT），通过联合优化文本生成、意图分类和槽位标注。
• 在大规模语音-文本对上预训练语言模型，无需语义标注，使用转录文本上的掩码语言建模范式。
• 在训练过程中应用噪声增强，以提高对真实世界环境噪声的鲁棒性，模拟实际部署条件。
• 在解码后实施知识库优化步骤：对于每个预测的槽位，使用BERT嵌入将解码词替换为领域特定知识库中最匹配的术语。
• 采用两阶段微调策略：首先在转录语音上联合预训练ASR和BERT组件，然后在标注的意图和槽位数据上微调完整模型。
• 采用一种新评估指标——槽位编辑 $F_1$，基于预测槽位序列与真实序列之间的编辑距离计算F1分数，实现更真实的端到端评估。

实验结果

研究问题

• RQ1 在有限标注语义数据上训练的半监督SLU框架，是否能在噪声环境下实现与使用原始文本输入的模型相当的性能，特别是？
• RQ2 所提出的联合ASR与自然语言理解（NLU）训练的端到端框架，与两阶段基线方法（先ASR后NLU）相比，在鲁棒性和准确性方面表现如何？
• RQ3 噪声增强在多大程度上提升了SLU模型在真实世界噪声环境中的泛化能力和鲁棒性？
• RQ4 知识库优化是否能显著提升对领域特定实体的槽位预测准确率，而无需额外标注？
• RQ5 与传统的基于槽位的F1指标相比，所提出的槽位编辑 $F_1$ 指标是否能更真实、更有效地评估端到端SLU系统？

主要发现

• 在加入噪声增强的ATIS语料上，所提出的端到端框架实现了97.65%的槽位编辑 $F_1$ 和96.38%的意图 $F_1$，与使用原始文本训练的模型性能相当。
• 在SNIPS语料的噪声条件下，框架实现了80.02%的槽位编辑 $F_1$ 和97.90%的意图 $F_1$，即使标注数据有限，也表现出强大的鲁棒性。
• 通过知识库优化，SNIPS上的槽位编辑 $F_1$ 在噪声条件下从80.02%提升至87.51%，表明对罕见或领域特定实体有显著增益。
• 所提出的框架在干净和噪声环境下均优于两阶段基线和SpeechBERT基线，显示出联合端到端训练的优势。
• 槽位编辑 $F_1$ 指标表明，即使词错误率（WER）相似，不同模型在槽位预测质量上也可能存在显著差异，验证了采用更细致评估指标的必要性。
• 在ATIS上，该框架实现了接近原始文本的性能（在语料错误/歧义阈值的5%以内），表明其在数据稀缺条件下极为有效。