[论文解读] Zero-Shot Learning for Semantic Utterance Classification

Yann Dauphin, Gökhan Tür+2 more|arXiv (Cornell University)|Dec 20, 2013

Topic Modeling参考文献 16被引用 27

一句话总结

本文提出了一种用于语义话语分类（SUC）的零样本学习框架，该框架利用搜索引擎查询日志训练的深度神经网络，在无需任何标注数据的情况下学习具有区分性的语义特征。通过使用语义属性知识库和一种新颖的零样本判别嵌入（ZDE）方法，该方法在未见语义类别上的分类准确率显著提升，且在低数据环境下优于监督基线方法，达到当前最优性能。

ABSTRACT

We propose a novel zero-shot learning method for semantic utterance classification (SUC). It learns a classifier $f: X o Y$ for problems where none of the semantic categories $Y$ are present in the training set. The framework uncovers the link between categories and utterances using a semantic space. We show that this semantic space can be learned by deep neural networks trained on large amounts of search engine query log data. More precisely, we propose a novel method that can learn discriminative semantic features without supervision. It uses the zero-shot learning framework to guide the learning of the semantic features. We demonstrate the effectiveness of the zero-shot semantic learning algorithm on the SUC dataset collected by (Tur, 2012). Furthermore, we achieve state-of-the-art results by combining the semantic features with a supervised method.

研究动机与目标

• 解决在训练过程中缺乏目标语义类别标注样本时，语义话语分类（SUC）所面临的挑战。
• 开发一种零样本学习框架，通过在话语与类别之间学习共享语义空间，实现对未见语义类别的分类。
• 通过利用零样本学习设置下的弱监督，无监督地学习具有区分性的语义特征。
• 通过引入零样本学习得到的语义嵌入，提升低资源环境下监督分类器的性能。

提出的方法

• 利用大规模搜索引擎点击日志（Bing）训练深度神经网络，以学习话语和类别的语义表示。
• 通过训练深度神经网络从查询中预测点击的URL，构建语义属性的知识库，这些URL作为语义意图的代理。
• 提出零样本判别嵌入（ZDE）方法，通过最小化零样本分类器的条件熵，学习更具区分性的特征而无需标签。
• 将预测的语义特征向量作为分类器的输入，实现对未见语义类别的零样本预测。
• 将学习到的语义嵌入与线性SVM结合，以提升SUC任务的性能。
• 采用多层深度神经网络（200-10-2）学习嵌入空间，训练过程由零样本学习目标引导。

实验结果

研究问题

• RQ1 当训练数据中不包含目标类别的任何样本时，能否有效应用零样本学习框架于语义话语分类？
• RQ2 在无任何标注数据的情况下，基于大规模查询日志训练的深度神经网络能否学习到具有区分性的语义特征？
• RQ3 所提出的零样本判别嵌入（ZDE）方法是否能产生比基线方法更具区分性的语义特征？
• RQ4 零样本语义特征能否提升监督分类器在低资源设置下的性能？

主要发现

• 采用ZDE嵌入的零样本学习框架在SUC数据集上达到当前最优性能，在低数据环境下优于所有基线方法，包括监督方法。
• 在难度较高的类别“交通”上，ZDE相比基线ZSL方法（使用DNN嵌入）将分类AUC提升了15.5个百分点（0.826 vs. 0.667）。
• 在餐厅类别上，采用ZDE嵌入的ZSL系统测试错误率为5.73%，优于当前最优的Kernel DCN方法（5.94%）和线性SVM基线（6.36%）。
• 采用ZDE嵌入的ZSL系统在“酒店”类别上AUC达到0.940，在“航班”类别上达到0.906，显著优于次优方法（分别为0.862和0.460）。
• 在低数据环境下，即使线性SVM使用多达10,000个标注样本进行训练，采用ZDE嵌入的ZSL系统仍表现更优，表明其对数据稀缺具有强鲁棒性。
• 嵌入空间的可视化结果表明，ZDE在语义相似类别（如电影与酒店）之间产生了更优的聚类效果，验证了其更强的判别能力。