[论文解读] Zero-shot User Intent Detection via Capsule Neural Networks

Congying Xia, Chenwei Zhang+3 more|arXiv (Cornell University)|Sep 2, 2018

Topic Modeling参考文献 19被引用 15

一句话总结

该论文提出IntentCapsNet和IntentCapsNet-ZSL，这两种基于胶囊网络的模型，通过学习分层语义特征并实现从已有意图到新兴意图的知识迁移，在零样本设置下检测用户意图。该模型在两个真实世界数据集上达到最先进性能，展现出强大的泛化能力和可解释性，且无需为新意图提供标注数据。

ABSTRACT

User intent detection plays a critical role in question-answering and dialog systems. Most previous works treat intent detection as a classification problem where utterances are labeled with predefined intents. However, it is labor-intensive and time-consuming to label users' utterances as intents are diversely expressed and novel intents will continually be involved. Instead, we study the zero-shot intent detection problem, which aims to detect emerging user intents where no labeled utterances are currently available. We propose two capsule-based architectures: INTENT-CAPSNET that extracts semantic features from utterances and aggregates them to discriminate existing intents, and INTENTCAPSNET-ZSL which gives INTENTCAPSNET the zero-shot learning ability to discriminate emerging intents via knowledge transfer from existing intents. Experiments on two real-world datasets show that our model not only can better discriminate diversely expressed existing intents, but is also able to discriminate emerging intents when no labeled utterances are available.

研究动机与目标

• 解决对话系统中新兴用户意图检测的挑战，即在无标注训练数据的情况下进行检测。
• 开发一种零样本学习框架，无需外部标注或大量微调，即可从已有意图泛化到未见意图。
• 利用胶囊网络的分层特征学习和动态路由机制，提升意图检测中的可解释性和鲁棒性。
• 通过标签相似性和路由信息，实现从已有意图到新兴意图的知识迁移。

提出的方法

• 采用基于胶囊的架构IntentCapsNet，利用自注意力机制从话语中提取语义特征。
• 应用基于一致性的动态路由机制，将语义特征聚合为高层意图表征。
• 通过将已有意图的投票向量和路由信息迁移至新兴意图，将IntentCapsNet扩展为IntentCapsNet-ZSL。
• 将意图标签相似性作为知识迁移信号，指导零样本推理。
• 使用注意力机制分析已有意图和新兴意图话语中特征提取的行为。
• 在已有意图的标注数据上进行训练，并利用学习到的表征和基于相似性的路由机制，对未见意图执行零样本推理。

实验结果

研究问题

• RQ1 胶囊网络能否有效学习用户话语在意图检测中的分层语义表征？
• RQ2 胶囊网络中的基于一致性的动态路由机制是否相比传统分类器能提升意图判别能力？
• RQ3 已有意图的知识能否被有效迁移，以实现对未见用户意图的零样本检测？
• RQ4 意图标签相似性在胶囊网络框架中的零样本意图检测性能中起到何种影响？
• RQ5 语义胶囊在不同意图类型之间，其特征提取行为在多大程度上具有可迁移性和可解释性？

主要发现

• IntentCapsNet在检测多样化表达的已有意图方面优于现有方法，展现出更优的特征抽象能力和分类准确率。
• IntentCapsNet-ZSL在新兴意图上实现了高零样本检测准确率，当相似度分布方差超过0.005时，20个新兴意图中有13个准确率≥0.83。
• 语义胶囊展现出可迁移的注意力模式：同一注意力头在'PlayMusic'中检测'play'的同时，也能识别'RateABook'中的'rate'，表明跨意图的特征泛化能力。
• 模型性能显著受新兴意图与已有意图标签之间相似度分布方差的影响，方差越大，零样本性能越好。
• 标签相似性与路由信息的结合实现了有效的知识迁移，降低了对新意图标注数据的依赖。
• 基于胶囊的架构提供了可解释的注意力机制，可可视化哪些语义成分（如动作、对象、评分）对意图预测有贡献。