[论文解读] Simple, Fast, Accurate Intent Classification and Slot Labeling.

Arshit Gupta, John Hewitt+1 more|arXiv (Cornell University)|Mar 19, 2019

Speech and dialogue systems被引用 6

一句话总结

本文提出了一类简单、非循环的神经网络架构，用于联合意图分类与槽位标注，利用标签循环的空洞卷积网络，实现了最先进水平的准确率——在Snips数据集上将槽位标注错误率降低了30%——同时推理速度提升两倍，训练时间比同类循环模型减少30%–50%。

ABSTRACT

In real-time dialogue systems running at scale, there is a tradeoff between system performance, time taken for training to converge, and time taken to perform inference. In this work, we study modeling tradeoffs intent classification (IC) and slot labeling (SL), focusing on non-recurrent models. We propose a simple, modular family of neural architectures for joint IC+SL. Using this framework, we explore a number of self-attention, convolutional, and recurrent models, contributing a large-scale analysis of modeling paradigms for IC+SL across two datasets. At the same time, we discuss a class of 'label-recurrent' models, proposing that otherwise non-recurrent models with a 10-dimensional representation of the label history provide multi-point SL improvements. As a result of our analysis, we propose a class of label-recurrent, dilated, convolutional IC+SL systems that are accurate, achieving a 30% error reduction in SL over the state-of-the-art performance on the Snips dataset, as well as fast, at 2x the inference and 2/3 to 1/2 the training time of comparable recurrent models.

研究动机与目标

• 解决大规模实时对话系统中模型准确率、训练速度与推理延迟之间的权衡问题。
• 探索用于联合意图分类与槽位标注的非循环架构，重点关注效率与性能。
• 研究在原本非循环模型中引入标签历史表示对槽位标注性能的影响。
• 开发一个模块化、可扩展的框架，用于在IC+SL任务中比较自注意力、卷积与循环建模范式。
• 在显著降低推理与训练时间的同时，实现槽位标注的最先进性能。

提出的方法

• 提出一种基于空洞卷积与自注意力机制的模块化、非循环神经网络架构家族，用于联合意图分类与槽位标注。
• 引入一种“标签循环”机制，通过维护前一个槽位标签的10维表示，提升多点槽位标注性能。
• 在统一的编码器-解码器框架内，采用联合训练目标同时优化意图分类与槽位标注。
• 使用空洞卷积在不增加模型深度或计算成本的前提下捕捉长距离依赖关系。
• 应用残差连接与层归一化以稳定训练过程并加快收敛速度。
• 在两个基准数据集上评估多种建模范式，包括自注意力、卷积与循环模型。

实验结果

研究问题

• RQ1 在联合意图分类与槽位标注任务中，非循环模型与循环模型在准确率、训练时间与推理速度方面表现如何？
• RQ2 在原本非循环的模型中，10维的标签历史表示能否提升槽位标注性能？
• RQ3 空洞卷积与自注意力对槽位标注准确率与推理效率有何影响？
• RQ4 所提出的标签循环机制如何影响多点槽位标注的性能？
• RQ5 统一的模块化架构能否在保持低延迟与快速训练的同时实现最先进性能？

主要发现

• 所提出的标签循环空洞卷积模型在Snips数据集上相比最先进方法，槽位标注错误率降低了30%。
• 推理速度是同类循环模型的两倍，适合实时部署。
• 与循环基线相比，训练时间减少了30%–50%，显著提升了模型迭代速度。
• 该模型在不使用循环单元的前提下仍保持高准确率，简化了网络结构。
• 标签循环机制在不增加模型复杂度的情况下，显著提升了多点槽位标注性能。
• 该框架可高效比较自注意力、卷积与循环范式在两个数据集上的表现。