[论文解读] Open Intent Discovery through Unsupervised Semantic Clustering and Dependency Parsing

Pengfei Liu, Youzhang Ning+3 more|arXiv (Cornell University)|Apr 25, 2021

Topic Modeling参考文献 52被引用 7

一句话总结

本文提出了一种基于预训练句子嵌入和依存句法分析的无监督两阶段框架，用于开放意图发现。该框架利用一种新颖的平衡评分度量在语义空间中聚类话语，以确定最优聚类数量，然后通过频繁的依存对生成人类可读的 ACTION-OBJECT 意图标签，在 SNIPS 数据集上实现了 93.5% 的 F1 分数，且意图匹配完全准确。

ABSTRACT

Intent understanding plays an important role in dialog systems, and is typically formulated as a supervised learning problem. However, it is challenging and time-consuming to design the intents for a new domain from scratch, which usually requires a lot of manual effort of domain experts. This paper presents an unsupervised two-stage approach to discover intents and generate meaningful intent labels automatically from a collection of unlabeled utterances in a domain. In the first stage, we aim to generate a set of semantically coherent clusters where the utterances within each cluster convey the same intent. We obtain the utterance representation from various pre-trained sentence embeddings and present a metric of balanced score to determine the optimal number of clusters in K-means clustering for balanced datasets. In the second stage, the objective is to generate an intent label automatically for each cluster. We extract the ACTION-OBJECT pair from each utterance using a dependency parser and take the most frequent pair within each cluster, e.g., book-restaurant, as the generated intent label. We empirically show that the proposed unsupervised approach can generate meaningful intent labels automatically and achieve high precision and recall in utterance clustering and intent discovery.

研究动机与目标

• 为解决在新领域中为面向目标的对话系统手动定义意图本体所面临的高成本和可扩展性问题。
• 从原始的、无标签的对话数据中自动发现语义一致的意图，而无需人工标注的标签。
• 利用依存句法分析生成有意义且人类可读的意图标签，形式为 ACTION-OBJECT 对。
• 通过使用一种新颖的平衡评分度量来确定最优聚类数量，从而提升聚类性能，尤其适用于平衡数据集。
• 实现可扩展的、低资源的意图发现，适用于现实世界中的对话系统和社会媒体分析。

提出的方法

• 使用预训练的句子嵌入（特别是通用句子编码器）表示每个话语，将话语映射到共享的语义空间中。
• 应用一种改进的 K-means 聚类算法，结合一种惩罚不平衡聚类分布的平衡评分度量，以确定最优聚类数量。
• 使用依存句法分析器从每个话语中提取 ACTION-OBJECT 对，以识别动词与其直接宾语之间的句法关系。
• 通过选择每个聚类内最频繁的 ACTION-OBJECT 对来生成该聚类的意图标签。
• 使用通用句子嵌入表示作为在多个评估指标下表现最佳的语义表示。
• 使用精确率、召回率、F1 分数、NMI 和 ARI 在 SNIPS 基准数据集上评估聚类性能，使用真实标签作为参考。

实验结果

研究问题

• RQ1 无监督框架能否在无需人工标注标签的情况下，有效从原始的、无标签的对话数据中发现有意义的意图？
• RQ2 平衡评分度量在意图聚类中能否显著提升聚类质量和最优 K 值估计，尤其是在平衡数据集上？
• RQ3 依存句法分析能否提取出可解释且语义准确的 ACTION-OBJECT 对，作为每个发现聚类的意图标签？
• RQ4 预训练句子嵌入的选择在多大程度上影响意图聚类与发现的性能？
• RQ5 所提出的框架能否在实现高精确率和高召回率的同时，生成人类可读的意图标签？

主要发现

• 所提出的框架在 SNIPS 数据集上实现了 93.5% 的高 F1 分数，且所有真实意图标签均被发现的聚类完美匹配。
• 通用句子嵌入模型在所有指标上均优于其他预训练表示，包括 F1（0.935）、NMI（0.865）和 ARI（0.855）。
• 平衡评分度量通过偏好平衡的分布显著提升了聚类质量，在此情境下优于标准度量如轮廓系数。
• 对于每个意图聚类，最频繁的 ACTION-OBJECT 对（例如，book-restaurant、play-music）均作为准确且可解释的标签，与人类理解一致。
• 该框架成功发现了 SNIPS 数据集中全部七个真实意图，各意图的 F1 分数在 0.826 到 0.989 之间，表明其在多样化意图类型上均表现出稳健性能。
• 该方法展现出强大的泛化能力，因为第一阶段（聚类）即使在缺乏明显 ACTION-OBJECT 模式的数据集中依然有效，从而可在复杂或非正式对话中实现意图发现。