[论文解读] Transductive Multi-label Zero-shot Learning

Yanwei Fu, Yongxin Yang+3 more|View|Mar 26, 2015

Domain Adaptation and Few-Shot Learning参考文献 24被引用 8

一句话总结

本文提出了首个用于归纳多标签零样本学习的框架，通过多输出深度回归将图像映射到语义词向量空间，并利用合成原型来挖掘标签相关性。通过结合归纳学习与词向量的组合性，该方法在多标签数据集上实现了最先进性能，在F1、排序损失和平均精度（AP）指标上均优于基线模型。

ABSTRACT

Zero-shot learning has received increasing interest as a means to alleviate the often prohibitive expense of annotating training data for large scale recognition problems. These methods have achieved great success via learning intermediate semantic representations in the form of attributes and more recently, semantic word vectors. However, they have thus far been constrained to the single-label case, in contrast to the growing popularity and importance of more realistic multi-label data. In this paper, for the first time, we investigate and formalise a general framework for multi-label zero-shot learning, addressing the unique challenge therein: how to exploit multi-label correlation at test time with no training data for those classes? In particular, we propose (1) a multi-output deep regression model to project an image into a semantic word space, which explicitly exploits the correlations in the intermediate semantic layer of word vectors; (2) a novel zero-shot learning algorithm for multi-label data that exploits the unique compositionality property of semantic word vector representations; and (3) a transductive learning strategy to enable the regression model learned from seen classes to generalise well to unseen classes. Our zero-shot learning experiments on a number of standard multi-label datasets demonstrate that our method outperforms a variety of baselines.

研究动机与目标

• 解决多标签零样本学习领域研究不足的问题，现有方法因缺乏未见类别的训练数据而无法建模标签相关性。
• 克服在测试阶段无未见类别训练样本时，难以建模标签共现相关性的挑战。
• 提出一种方法，通过利用词向量空间中的语义组合性，将零样本学习从单标签推广到多标签识别。
• 通过自训练的归纳适应策略，提升图像到语义嵌入模型对未见类别的泛化能力。

提出的方法

• 提出一个9层多输出深度回归（Mul-DR）模型，直接将原始图像像素映射到跳字模型词向量，显式建模语义维度之间的相关性。
• 提出一种新颖的零样本多标签预测（ZS-MLP）算法，通过在语义词向量空间中合成所有可能的标签组合（幂集）作为虚拟训练实例，以编码标签相关性。
• 设计两种算法：直接多标签预测（DMP）通过在语义空间中使用最近邻分类，以及归纳多标签预测（TraMP），利用未标记测试数据的流形结构以提升泛化能力。
• 应用自训练策略，通过迭代优化未标记测试数据的预测结果，使Mul-DR模型适应目标测试分布。
• 使用跳字模型词向量作为已见类与未见类之间的共享语义空间，实现在无需未见类别视觉样本的情况下实现零样本迁移。
• 利用词向量的组合性，即使在未见类别组合情况下，也能生成合理的多标签组合。

实验结果

研究问题

• RQ1 当未见类别缺乏训练数据时，能否有效建模多标签零样本学习中的标签相关性？
• RQ2 利用语义词向量的组合性是否能比独立的单标签预测带来更好的未见多标签组合泛化能力？
• RQ3 通过利用未标记测试数据的结构，归纳学习策略能否提升零样本多标签预测性能？
• RQ4 在测试集上进行自训练是否能增强图像到语义嵌入模型对未见类别的泛化能力？

主要发现

• 所提出的TraMP算法在所有指标上均优于DMP，显著提升了微平均F1、排序损失和平均精度（AP），证明了归纳流形学习的优势。
• 自训练策略提升了DMP与TraMP的性能，证实了将Mul-DR模型适配至测试分布可增强其对未见类别的泛化能力。
• Mul-DR+TraMP在多个标准多标签数据集上达到最先进性能，在F1、排序损失和AP指标上超越DeViSE及其他基线模型，仅在IAPCTC-12数据集的汉明损失上表现稍逊。
• DeViSE基线在IAPCTC-12数据集上F1与AP表现较差，因其过于保守——对多数样本预测为无标签，凸显了显式建模标签相关性的优势。
• 对标签组合幂集的全面合成，使得无需真实训练样本即可有效建模标签共现模式。
• 该方法通过利用词向量的组合性，成功泛化至未见多标签组合，即使在标签分布高度不平衡的情况下也表现有效。