[论文解读] SLIM: Explicit Slot-Intent Mapping with BERT for Joint Multi-Intent Detection and Slot Filling

Fengyu Cai, Wanhao Zhou+2 more|arXiv (Cornell University)|Aug 26, 2021

Software Engineering Research被引用 7

一句话总结

SLIM 提出了一种基于 BERT 的联合多意图检测与槽位填充框架，通过显式槽位-意图分类器建模槽位与意图之间的多对一关系。该方法在三个公开的多意图数据集上实现了最先进性能，通过显式学习槽位级别的意图映射，将语义框架准确率最高提升了 7.6%。

ABSTRACT

Utterance-level intent detection and token-level slot filling are two key tasks for natural language understanding (NLU) in task-oriented systems. Most existing approaches assume that only a single intent exists in an utterance. However, there are often multiple intents within an utterance in real-life scenarios. In this paper, we propose a multi-intent NLU framework, called SLIM, to jointly learn multi-intent detection and slot filling based on BERT. To fully exploit the existing annotation data and capture the interactions between slots and intents, SLIM introduces an explicit slot-intent classifier to learn the many-to-one mapping between slots and intents. Empirical results on three public multi-intent datasets demonstrate (1) the superior performance of SLIM compared to the current state-of-the-art for NLU with multiple intents and (2) the benefits obtained from the slot-intent classifier.

研究动机与目标

• 为解决现有 NLU 模型假设每句输入仅对应单一意图的局限性，尽管现实世界中多意图语句十分常见。
• 通过显式建模槽位与其对应意图之间的映射关系，利用现有标注数据，而这一关系在以往工作中常被忽略。
• 通过在 BERT 上引入专用的槽位-意图分类器，提升多意图检测与槽位填充的联合性能。
• 证明显式槽位-意图映射可带来更快的收敛速度与更好的泛化能力，适用于多意图 NLU 任务。

提出的方法

• 使用 BERT 作为共享编码器，对输入语句进行上下文表征，[CLS] 和 [SEP] 标记用于序列分类。
• 采用基于 Sigmoid 的意图分类器，预测多个语句级意图，将意图检测视为多标签分类任务。
• 采用基于 Softmax 的槽位分类器进行 token 级槽位填充，利用 BERT 输出的 token 表征预测槽位标签。
• 引入一种新型槽位-意图分类器，为每个独立槽位预测意图标签，显式建模槽位级别的意图映射。
• 实现意图约束注意力机制，利用槽位级别意图预测结果来优化槽位表征，增强特征学习。
• 采用加权损失函数进行端到端训练：槽位填充损失的权重是意图分类器和槽位-意图分类器损失的两倍。

实验结果

研究问题

• RQ1 显式建模槽位与其对应意图之间的关系，是否能提升联合多意图检测与槽位填充的性能？
• RQ2 引入槽位-意图分类器是否能带来更快的收敛速度与更好的泛化能力？
• RQ3 所提出的意图约束注意力机制如何影响槽位与意图的表征学习？
• RQ4 SLIM 在真实世界与模拟的多意图数据集上，相较于现有 SOTA 模型，性能提升程度如何？

主要发现

• SLIM 在三个公开的多意图数据集（MixATIS、MixSNIPS 和 DSTC4）上均达到最先进性能，优于先前的 SOTA 模型。
• 在 MixATIS 和 MixSNIPS 数据集上，SLIM 分别相较之前 SOTA（AGIF）将语义框架准确率提升了 3.1% 和 7.6%，展现出卓越的联合预测能力。
• 在真实世界 DSTC4 数据集上，SLIM 在 Slot F1 上相较两个最强基线模型分别提升了 3.5% 和 4.7%，表明其在 token 级槽位预测上具有强大性能。
• 消融实验表明，移除槽位-意图分类器对 Slot F1 的影响最大，而移除意图约束注意力机制则对 Intent Acc 的影响最大，验证了各组件的独立作用。
• 训练曲线显示，SLIM 的收敛速度更快，且达到的性能更高，验证了所提组件的有效性。