[论文解读] SlotRefine: A Fast Non-Autoregressive Model for Joint Intent Detection and Slot Filling

Di Wu, Liang Ding+2 more|arXiv (Cornell University)|Oct 6, 2020

Topic Modeling参考文献 22被引用 7

一句话总结

SlotRefine 提出了一种快速的非自回归模型，用于联合意图检测与槽位填充，通过两轮精炼机制解决非自回归模型中槽位预测不协调的问题。该方法在 ATIS 和 Snips 数据集上达到最先进性能，同时相比自回归基线模型，推理速度最高提升 10.77 倍。

ABSTRACT

Slot filling and intent detection are two main tasks in spoken language understanding (SLU) system. In this paper, we propose a novel non-autoregressive model named SlotRefine for joint intent detection and slot filling. Besides, we design a novel two-pass iteration mechanism to handle the uncoordinated slots problem caused by conditional independence of non-autoregressive model. Experiments demonstrate that our model significantly outperforms previous models in slot filling task, while considerably speeding up the decoding (up to X 10.77). In-depth analyses show that 1) pretraining schemes could further enhance our model; 2) two-pass mechanism indeed remedy the uncoordinated slots.

研究动机与目标

• 解决自回归模型在联合意图检测与槽位填充任务中效率低下和延迟高的问题。
• 克服非自回归模型中因条件独立性导致的槽位不协调问题（如 B-歌手 后出现 I-歌曲）。
• 通过用两轮精炼策略替代 CRF，开发一种保持高准确率的同时实现快速推理的机制。
• 评估预训练方法（GloVe、BERT）在所提模型上的有效性，以提升鲁棒性与 OOV 处理能力。

提出的方法

• 采用基于 Transformer 的编码器，以并行方式联合预测意图和槽位标签，消除序列依赖性。
• 引入两轮机制：第一轮生成初始预测，第二轮利用 B-标签（开始标签）作为额外输入对预测结果进行精炼。
• 在每个 token 位置注入初始标签嵌入（包括表示‘非槽位’的 'O' 标签），以引导精炼过程。
• 使用可学习的精炼头在第二轮中对槽位标签进行精炼，显式建模槽位边界的一致性。
• 在 Transformer 编码器中应用多头自注意力机制，以捕捉句子级与词级表示。
• 通过 GloVe 或 BERT 嵌入实现预训练，以提升泛化能力，尤其增强对 OOV 词的处理能力，并通过两轮机制进行微调。

实验结果

研究问题

• RQ1 非自回归模型是否能在显著提升推理速度的同时，实现联合意图检测与槽位填充的最先进性能？
• RQ2 所提出的两轮精炼机制是否能有效减少标准非自回归模型中常见的不协调槽位预测（如 B-标签后出现 I-标签）？
• RQ3 在槽位填充任务中，两轮机制与 CRF 相比，在性能与效率方面表现如何？
• RQ4 像 GloVe 和 BERT 这类预训练方案在多大程度上提升了非自回归模型的性能？
• RQ5 该模型是否在 OOV 率较高的数据集（如 Snips）上表现出显著优势？

主要发现

• SlotRefine 在 ATIS 数据集上达到 96.22% 的槽位 F1，在 Snips 数据集上达到 93.72%，显著优于此前所有模型，包括使用 CRF 的模型。
• 该模型在减少不协调槽位错误方面优于单轮非自回归模型与 CRF 增强模型，训练过程中误差减少的收敛速度更快。
• 与自回归基线相比，推理速度最高提升 10.77 倍，相比 CRF 增强模型提速 2.8 倍。
• 使用 BERT 预训练使 ATIS 上的意图准确率达到 97.74%，槽位 F1 达到 88.64%，优于同基准上现有的 BERT 基模型。
• 使用 GloVe 预训练的模型在 ATIS 上实现 97.35% 的意图准确率与 87.57% 的槽位 F1，表明即使使用简单预训练方法也能提升性能，尤其在 OOV 词较多的数据集（如 Snips）上优势明显。
• 两轮机制在性能与效率之间平衡更优，相比 CRF 增强模型，F1 提升 0.89，同时保持更快的推理速度。