[论文解读] Towards Open Intent Discovery for Conversational Text

Nikhita Vedula, Nedim Lipka+2 more|arXiv (Cornell University)|Apr 17, 2019

Topic Modeling参考文献 51被引用 9

一句话总结

本文提出TOP-ID，一种用于开放世界意图发现的两阶段神经框架，能够从对话文本中检测并提取多个显式用户意图，即使这些意图在训练期间未出现过。通过结合双向LSTM、CRF序列标注、自注意力机制和对抗性训练，该模型在F1分数上比当前最先进基线模型高出5–15%，且每个领域仅需不到100个标注样本。

ABSTRACT

Detecting and identifying user intent from text, both written and spoken, plays an important role in modelling and understand dialogs. Existing research for intent discovery model it as a classification task with a predefined set of known categories. To generailze beyond these preexisting classes, we define a new task of extit{open intent discovery}. We investigate how intent can be generalized to those not seen during training. To this end, we propose a two-stage approach to this task - predicting whether an utterance contains an intent, and then tagging the intent in the input utterance. Our model consists of a bidirectional LSTM with a CRF on top to capture contextual semantics, subject to some constraints. Self-attention is used to learn long distance dependencies. Further, we adapt an adversarial training approach to improve robustness and perforamce across domains. We also present a dataset of 25k real-life utterances that have been labelled via crowd sourcing. Our experiments across different domains and real-world datasets show the effectiveness of our approach, with less than 100 annotated examples needed per unique domain to recognize diverse intents. The approach outperforms state-of-the-art baselines by 5-15% F1 score points.

研究动机与目标

• 解决现有意图检测系统在预定义意图类别下假设为封闭世界设置的局限性。
• 实现在单个话语或对话轮次中检测多个、多样化且此前未见过的用户意图。
• 开发一种领域通用的框架，以一致且可操作的格式在不同对话领域中提取意图。
• 通过支持新领域上的有效 few-shot 适应，减少对大规模标注数据的依赖。
• 为现实世界对话（如技术支持对话）提供细粒度、真实的用户行动项摘要。

提出的方法

• 采用两阶段方法：首先，在双向LSTM之上使用Softmax分类器判断话语是否包含任何显式意图。
• 其次，基于双向LSTM与CRF层的序列标注模型识别并提取输入文本中的个体意图片段。
• 集成自注意力机制以建模长距离依赖关系并改善上下文表征。
• 在低层应用对抗性训练以增强模型鲁棒性和领域泛化能力。
• 在微调前，使用目标领域数据以自监督方式预训练模型。
• 构建并标注了一个包含25,000条来自多样化领域的众包对话话语的新数据集，用于通用意图发现。

实验结果

研究问题

• RQ1 神经序列标注模型是否能在事先不知情意图类别的情况下，检测并提取对话文本中的多个显式用户意图？
• RQ2 该模型在推理阶段对未见意图类型的一般化能力如何，尤其是在标注数据极少的情况下？
• RQ3 在有限监督下，该模型在不同对话领域间的适应能力如何？
• RQ4 自注意力机制与对抗性训练的整合在开放世界意图发现中如何提升性能与鲁棒性？
• RQ5 该模型是否能为现实世界对话（如技术支持对话）提供细粒度、可操作的用户意图摘要？

主要发现

• 在多个真实世界数据集和领域中，TOP-ID在F1分数上比最先进基线模型高出5–15个百分点。
• 该模型仅需每个领域少于100个标注样本即可实现有效的意图发现，展现出强大的few-shot泛化能力。
• 在Ubuntu对话语料库中，TOP-ID成功在一个多轮对话中识别出超过十个不同的用户意图，包括修复损坏的Ubuntu安装或升级驱动程序等复杂操作。
• 该框架能准确检测细粒度意图类型，如“播放相册”、“搜索活动”或“请求特殊餐食”，即使这些意图嵌入复杂话语中。
• TOP-ID可同时提取意图及其相关上下文实体（如歌曲名称、电影标题、系统文件），而无需依赖独立的槽位填充模块。
• 尽管主要在Stack Exchange数据上进行训练，该模型在客户支持、音乐和餐厅预订等不同领域间仍表现出良好的泛化能力。