[论文解读] Out-of-domain Detection for Natural Language Understanding in Dialog Systems

Yinhe Zheng, Guanyi Chen+1 more|arXiv (Cornell University)|Sep 9, 2019

Topic Modeling参考文献 47被引用 8

一句话总结

本文提出了一种新颖的伪OOD样本生成模型（POG），通过使用自编码器、对抗性训练和辅助分类器，生成高质量、逼真的OOD话语，从而提升自然语言理解（NLU）中的分布外（OOD）检测性能。该方法通过合成OOD数据有效正则化模型，实现了无需依赖人工标注OOD样本的最先进性能。

ABSTRACT

Natural Language Understanding (NLU) is a vital component of dialogue systems, and its ability to detect Out-of-Domain (OOD) inputs is critical in practical applications, since the acceptance of the OOD input that is unsupported by the current system may lead to catastrophic failure. However, most existing OOD detection methods rely heavily on manually labeled OOD samples and cannot take full advantage of unlabeled data. This limits the feasibility of these models in practical applications. In this paper, we propose a novel model to generate high-quality pseudo OOD samples that are akin to IN-Domain (IND) input utterances, and thereby improves the performance of OOD detection. To this end, an autoencoder is trained to map an input utterance into a latent code. and the codes of IND and OOD samples are trained to be indistinguishable by utilizing a generative adversarial network. To provide more supervision signals, an auxiliary classifier is introduced to regularize the generated OOD samples to have indistinguishable intent labels. Experiments show that these pseudo OOD samples generated by our model can be used to effectively improve OOD detection in NLU. Besides, we also demonstrate that the effectiveness of these pseudo OOD data can be further improved by efficiently utilizing unlabeled data.

研究动机与目标

• 为解决NLU系统中有限的标注OOD数据所导致的分布外检测困难问题。
• 开发一种方法，生成高质量、逼真的OOD话语，使其与域内（IND）输入难以区分，从而提升OOD检测性能。
• 利用现实系统中通常可获得的无标签数据，进一步提升生成OOD样本的质量与有效性。
• 通过使用合成OOD数据优化熵正则化，提升NLU模型在开放世界假设下的泛化能力。

提出的方法

• 训练一个自编码器，将输入话语映射到潜在码并重建原始输入，以保留语义和结构特性。
• 使用生成对抗网络（GAN）使OOD和IND样本的潜在码难以区分，确保生成的OOD样本与真实IND输入相似。
• 引入辅助分类器，对生成的OOD样本进行正则化，使其意图标签模糊或难以区分，从而提升其在OOD检测中的实用性。
• 通过重建损失、对抗损失和熵正则化（ER）的组合，端到端训练模型，以优化OOD检测性能。
• 将方法扩展为AEPOG（基于自编码器的伪OOD生成），在自编码器预训练阶段引入无标签数据，进一步提升样本质量。
• 使用生成的伪OOD样本配合熵正则化训练NLU模型，增强其识别真实OOD输入的能力。

实验结果

研究问题

• RQ1 我们能否在离散文本空间中生成高质量、逼真的OOD话语，使其在语义上与域内输入相似，但意图模糊？
• RQ2 与使用真实OOD数据训练的模型相比，这些生成的伪OOD样本在提升OOD检测性能方面有多有效？
• RQ3 能否有效利用现实部署中的无标签数据，以提升生成OOD样本的质量，从而改善检测性能？
• RQ4 对IND和OOD分布的潜在码进行对抗性训练，是否能提升特征空间中OOD检测的分离效果？
• RQ5 对生成样本的意图标签施加辅助监督，能否提升OOD检测的鲁棒性？

主要发现

• 所提出的POG模型生成的伪OOD样本语法正确且在语义上与域内话语相似，因此在训练中具有有效性。
• 使用生成的伪OOD样本显著提升了OOD检测性能，在OSQ等基准数据集上达到最先进结果。
• AEPOG变体在自编码器预训练阶段引入无标签数据，进一步提升了生成样本质量并增强了检测性能。
• t-SNE可视化结果表明，使用POG生成样本训练的模型在IND与OOD输入之间产生了更具可分性的特征表示。
• 辅助分类器有效正则化了生成样本的意图模糊性，防止其被轻易分类为IND样本。
• 该方法减少了对昂贵人工标注OOD数据的依赖，同时在性能上保持或超过使用真实OOD数据训练的模型。