[论文解读] PIN: A Novel Parallel Interactive Network for Spoken Language Understanding

Peilin Zhou, Zhiqi Huang+2 more|arXiv (Cornell University)|Sep 28, 2020

Topic Modeling参考文献 29被引用 4

一句话总结

本文提出了一种并行交互网络（PIN），用于在口语理解中联合进行意图检测与槽填充，利用高斯自注意力编码器捕捉局部上下文信息，并通过两个双向模块——Intent2Slot 和 Slot2Intent——实现任务间的显式、相互引导。当与 BERT 结合时，该模型在 SNIPS 数据集上实现了最先进性能，通过增强的相互监督机制和融合直觉与理性推理路径的合作机制，显著提升了槽 F1 分数和整体准确率。

ABSTRACT

Spoken Language Understanding (SLU) is an essential part of the spoken dialogue system, which typically consists of intent detection (ID) and slot filling (SF) tasks. Recently, recurrent neural networks (RNNs) based methods achieved the state-of-the-art for SLU. It is noted that, in the existing RNN-based approaches, ID and SF tasks are often jointly modeled to utilize the correlation information between them. However, we noted that, so far, the efforts to obtain better performance by supporting bidirectional and explicit information exchange between ID and SF are not well studied.In addition, few studies attempt to capture the local context information to enhance the performance of SF. Motivated by these findings, in this paper, Parallel Interactive Network (PIN) is proposed to model the mutual guidance between ID and SF. Specifically, given an utterance, a Gaussian self-attentive encoder is introduced to generate the context-aware feature embedding of the utterance which is able to capture local context information. Taking the feature embedding of the utterance, Slot2Intent module and Intent2Slot module are developed to capture the bidirectional information flow for ID and SF tasks. Finally, a cooperation mechanism is constructed to fuse the information obtained from Slot2Intent and Intent2Slot modules to further reduce the prediction bias.The experiments on two benchmark datasets, i.e., SNIPS and ATIS, demonstrate the effectiveness of our approach, which achieves a competitive result with state-of-the-art models. More encouragingly, by using the feature embedding of the utterance generated by the pre-trained language model BERT, our method achieves the state-of-the-art among all comparison approaches.

研究动机与目标

• 为解决现有基于 RNN 的 SLU 方法在意图检测与槽填充之间建模的双向、显式信息流有限的问题。
• 通过高斯自注意力编码器捕捉局部上下文信息，以提升槽填充性能。
• 通过融合直觉（隐式）与理性（显式）推理路径的合作机制，减少预测偏差。
• 研究将预训练语言模型（如 BERT）集成到所提出的 PIN 框架中的有效性，以提升性能。
• 在基准 SLU 数据集上验证模型的优越性，特别是在意图-槽共现模式更显著的 SNIPS 数据集中。

提出的方法

• 使用高斯自注意力编码器生成上下文感知、局部感知的句子表示，以捕捉每个标记的局部与全局依赖关系。
• Intent2Slot 模块通过注入意图感知上下文信息，显式利用意图预测来引导槽填充。
• Slot2Intent 模块执行相反操作：它利用槽标签分布，通过注意力融合机制来优化意图分类。
• 隐式交互阶段利用编码器与直觉解码器之间的共享参数，捕捉意图与槽之间的潜意识、参数化关系。
• 显式交互阶段使用理性解码器处理并优化隐式阶段的预测结果，实现有意识的、基于规则的输出精炼。
• 合作机制自适应地融合来自隐式与显式阶段的特征，以减少预测偏差并提高鲁棒性。

实验结果

研究问题

• RQ1 意图检测与槽填充之间是否存在双向、显式的信息交换，可提升联合 SLU 性能？
• RQ2 通过高斯自注意力编码器引入局部上下文信息，是否能提升槽填充的准确性？
• RQ3 双路径架构（结合隐式（直觉）与显式（理性）推理）是否能减少预测偏差并提升模型鲁棒性？
• RQ4 将 BERT 嵌入集成到 PIN 框架中，能在多大程度上进一步提升性能？
• RQ5 意图与槽标签之间的共现模式在多大程度上影响模型性能，特别是在 SNIPS 等数据集中？

主要发现

• PIN 模型在 ATIS 和 SNIPS 上均表现出具有竞争力的性能，相较于基线模型，槽 F1 分数和句子级语义框架准确率均有显著提升。
• 在 SNIPS 数据集上，该模型优于以往最先进方法，尤其受益于意图与槽之间强烈的共现模式。
• 消融实验表明，移除 Intent2Slot 或 Slot2Intent 模块均导致性能下降，验证了双向交互的重要性。
• 移除高斯自注意力编码器后，槽 F1 分数显著下降，证实其在捕捉槽填充所需局部上下文中的关键作用。
• 合作机制在两个数据集上均持续提升性能，证明其在平衡直觉与理性推理路径方面的有效性。
• 当与 BERT 结合时，PIN 模型在槽 F1 分数和整体准确率上均达到最先进水平，在基准数据集上建立了新的 SOTA。