[论文解读] Zero-Shot Learning and Clustering for Semantic Utterance Classification

Yann Dauphin, Gökhan Tür+2 more|arXiv (Cornell University)|Dec 20, 2013

Topic Modeling参考文献 21被引用 15

一句话总结

本文提出两种零样本学习方法，用于基于搜索引擎查询点击日志生成的深度语义嵌入进行语义话语分类（SUC），无需标注数据。此外，提出一种零样本聚类算法，以提取判别性特征，在SUC基准数据集上使用线性SVM实现最先进性能。

ABSTRACT

We propose two novel zero-shot learning methods for semantic utterance classification (SUC) using deep learning. Both approaches rely on learning deep semantic embeddings from a large amount of Query Click Log data obtained from a search engine. Traditional semantic utterance classification systems require large amounts of labelled data, whereas our proposed methods make use of the structure of the task to allow classification without labeled data. We also develop a zero-shot semantic clustering algorithm for extracting discriminative features for supervised semantic utterance classification systems. We demonstrate the effectiveness of the zero-shot semantic learning algorithm on the SUC dataset collected by [1]. Furthermore, we show that extracting features using zero-shot semantic clustering for a linear SVM reaches state-of-the-art result on that dataset.

研究动机与目标

• 通过仅使用极少标注数据的零样本学习，缓解传统语义话语分类（SUC）系统对数据的依赖。
• 利用查询点击日志中固有的结构，学习深度语义嵌入，而无需显式标注。
• 开发一种零样本聚类方法，以提取用于下游监督SUC系统的判别性特征。
• 证明零样本学习得到的特征在标准SUC基准测试中可与或优于监督基线方法。

提出的方法

• 在大规模查询点击日志数据上训练深度神经网络，以学习话语的密集语义嵌入。
• 设计两种零样本学习框架，基于学习到的语义表示对话语进行分类，而无需依赖标注样本。
• 应用一种零样本语义聚类算法，利用学习到的嵌入按语义相似性对话语进行分组。
• 将聚类中心或基于聚类的表示作为判别性特征，输入至线性SVM，用于监督SUC设置。
• 利用点击模式和查询-响应关系中提取的自监督信号，对嵌入模型进行微调。
• 将零样本聚类特征集成至标准监督SUC流水线中，以提升性能。

实验结果

研究问题

• RQ1 仅使用查询点击日志，能否在不依赖任何标注训练数据的情况下有效执行语义话语分类？
• RQ2 基于深度语义嵌入的零样本学习方法在标准SUC基准测试中的表现如何？
• RQ3 零样本聚类在多大程度上能提取出对监督SUC系统有意义且具有判别性的特征？
• RQ4 与基线方法相比，集成零样本学习特征是否能提升SUC数据集上的性能？

主要发现

• 所提出的零样本学习方法在SUC数据集上实现了优异性能，且无需任何标注训练样本。
• 零样本语义聚类算法成功提取出对下游分类任务高度判别性的特征。
• 当用作线性SVM的输入时，由零样本聚类提取的特征在基准SUC数据集上达到最先进性能。
• 该方法表明，大规模未标注的查询点击日志数据可被有效利用，以学习自然语言处理任务中的丰富语义表示。
• 结果验证了基于自监督嵌入的语义聚类可作为低资源场景下强大的特征提取机制。
• 当使用相同特征时，该方法优于现有监督基线，表明零样本学习得到的表示质量优异。