[论文解读] Speech2Slot: An End-to-End Knowledge-based Slot Filling from Speech

Pengwei Wang, Xin Ye+3 more|arXiv (Cornell University)|May 10, 2021

Natural Language Processing Techniques参考文献 32被引用 4

一句话总结

该论文提出 Speech2Slot，一种基于知识的端到端槽位填充模型，将槽位填充建模为语音音素后验与实体数据库之间的匹配任务，而非序列生成。通过利用字典树检测槽位边界，并通过桥接层解码槽位音素，该模型在大规模中文语音导航数据集上实现了 83.86% 的准确率，相较于先前的流水线方法和端到端方法，准确率高出 12.51%，尤其在未登录词（OOV）和反语言学槽位上表现优异。

ABSTRACT

In contrast to conventional pipeline Spoken Language Understanding (SLU) which consists of automatic speech recognition (ASR) and natural language understanding (NLU), end-to-end SLU infers the semantic meaning directly from speech and overcomes the error propagation caused by ASR. End-to-end slot filling (SF) from speech is an essential component of end-to-end SLU, and is usually regarded as a sequence-to-sequence generation problem, heavily relied on the performance of language model of ASR. However, it is hard to generate a correct slot when the slot is out-of-vovabulary (OOV) in training data, especially when a slot is an anti-linguistic entity without grammatical rule. Inspired by object detection in computer vision that is to detect the object from an image, we consider SF as the task of slot detection from speech. In this paper, we formulate the SF task as a matching task and propose an end-to-end knowledge-based SF model, named Speech-to-Slot (Speech2Slot), to leverage knowledge to detect the boundary of a slot from the speech. We also release a large-scale dataset of Chinese speech for slot filling, containing more than 830,000 samples. The experiments show that our approach is markedly superior to the conventional pipeline SLU approach, and outperforms the state-of-the-art end-to-end SF approach with 12.51% accuracy improvement.

研究动机与目标

• 为解决因自动语音识别（ASR）错误导致的流水线语音理解（SLU）中误差传播问题，特别是针对未登录词（OOV）和反语言学槽位。
• 克服端到端槽位填充中序列到序列生成方法的局限性，此类方法严重依赖语言模型，难以处理未登录词和非语法实体。
• 提出一种新颖的槽位填充建模方式：将语音音素后验与实体知识库之间的匹配任务作为槽位填充的建模方式，灵感源自计算机视觉中的目标检测。
• 发布一个大规模、多语言（中文）的语音到槽位数据集，包含超过 830,000 个样本，以支持未来端到端 SLU 的研究。

提出的方法

• 将槽位填充建模为匹配任务：通过在实体数据库中使用字典树结构匹配，检测语音音素后验中槽位的起始和结束时间戳。
• 使用语音编码器处理原始音频并生成音素后验，作为槽位边界检测的输入。
• 从实体数据库构建字典树，以高效搜索语音输入中的匹配音素片段。
• 应用桥接层，基于匹配的音素片段从实体数据库中解码出检测到的槽位的最终音素序列。
• 通过联合优化声学建模与槽位匹配进行端到端模型训练，使用注意力机制对齐语音与知识。
• 利用知识库（实体数据库）作为可能槽位的封闭集合，实现检测而非生成。

实验结果

研究问题

• RQ1 将槽位填充建模为语音与知识库之间的匹配任务，是否能在处理未登录词和反语言学槽位方面优于序列到序列生成方法？
• RQ2 基于匹配的端到端槽位填充模型在性能上与传统流水线 SLU 及最先进的端到端生成式模型相比如何？
• RQ3 基于知识的匹配方法在多大程度上能缓解来自 ASR 的误差传播，并提升在真实人类语音上的鲁棒性？
• RQ4 该方法在未登录词（OOV）槽位上，特别是无语法结构的槽位上，效果如何？

主要发现

• 在使用特定领域声学模型生成的 TTS 测试集上，Speech2Slot 实现了 83.86% 的槽位填充准确率，显著优于次佳基线方法（AM+SF）12.51 个百分点。
• 在 OOV 子集上，Speech2Slot 达到 81.90% 的准确率，展现出对未见槽位的强鲁棒性，而流水线方法 AM+LM 仅达到 23.18%。
• 即使使用通用声学模型，Speech2Slot 在人类朗读的测试集上仍实现了 72.99% 的总体准确率，优于次佳方法（AM+SF）28.98 个百分点。
• 在人类语音的 OOV 子集上，Speech2Slot 达到 16.50% 的准确率，远高于次佳方法的 0.95%，证实其在真实场景中的有效性。
• 该模型在 OOV 和非 OOV 槽位上均保持一致的性能表现，表明基于匹配的方法对词汇覆盖度的敏感性低于生成方法。
• 消融实验确认，对于音乐或电影标题等反语言学实体，匹配机制比生成方法更有效，因为后者常被语言模型误识别。