[论文解读] Zero-Shot Learning via Category-Specific Visual-Semantic Mapping

Li Niu, Jianfei Cai+1 more|arXiv (Cornell University)|Nov 16, 2017

Domain Adaptation and Few-Shot Learning参考文献 38被引用 4

一句话总结

本文提出自适应嵌入零样本学习（AEZSL）与深度AEZSL（DAEZSL），通过学习类别特定的视觉-语义映射来解决零样本学习中的投影域偏移问题。通过利用未见类别与已见类别之间的语义相似度来加权映射函数，该方法提升了泛化能力，并在小规模与大规模基准测试中均取得了最先进性能，包括最多包含20,345个未见类别的ImageNet数据集。

ABSTRACT

Zero-Shot Learning (ZSL) aims to classify a test instance from an unseen category based on the training instances from seen categories, in which the gap between seen categories and unseen categories is generally bridged via visual-semantic mapping between the low-level visual feature space and the intermediate semantic space. However, the visual-semantic mapping learnt based on seen categories may not generalize well to unseen categories because the data distributions between seen categories and unseen categories are considerably different, which is known as the projection domain shift problem in ZSL. To address this domain shift issue, we propose a method named Adaptive Embedding ZSL (AEZSL) to learn an adaptive visual-semantic mapping for each unseen category based on the similarities between each unseen category and all the seen categories. Then, we further make two extensions based on our AEZSL method. Firstly, in order to utilize the unlabeled test instances from unseen categories, we extend our AEZSL to a semi-supervised approach named AEZSL with Label Refinement (AEZSL_LR), in which a progressive approach is developed to update the visual classifiers and refine the predicted test labels alternatively based on the similarities among test instances and among unseen categories. Secondly, to avoid learning visual-semantic mapping for each unseen category in the large-scale classification task, we extend our AEZSL to a deep adaptive embedding model named Deep AEZSL (DAEZSL) sharing the similar idea (i.e., visual-semantic mapping should be category-specific and related to the semantic space) with AEZSL, which only needs to be trained once, but can be applied to arbitrary number of unseen categories. Extensive experiments demonstrate that our proposed methods achieve the state-of-the-art results for image classification on four benchmark datasets.

研究动机与目标

• 为解决零样本学习中的投影域偏移问题，即在已见类别上训练的视觉-语义映射在未见类别上泛化能力差。
• 开发一种方法，学习未见类别的类别特定视觉-语义映射，且无需依赖标注的测试数据。
• 设计一种可扩展的深度模型（DAEZSL），仅需在已见类别上进行一次训练，但可支持任意未见类别。
• 通过基于已见类别与未见类别之间语义相似度的映射函数加权，提升零样本分类性能。

提出的方法

• 通过计算未见类别与所有已见类别之间的语义相似度，为每个未见类别学习类别特定的视觉-语义映射。
• 基于语义表示向量，为与未见类别语义更接近的已见类别映射函数分配更高权重。
• 通过使用Sigmoid输出的多层感知机（MLP）学习一个特征掩码，以自适应地组合每个未见类别的视觉特征与语义嵌入。
• 该方法整合了渐进式标签精炼机制，通过类别特定映射迭代改进预测结果。
• 深度变体DAEZSL在所有未见类别间共享单一训练网络，实现无需微调的高效推理。
• 模型采用GoogleNet主干网络，输出1,024维特征，使用含Dropout的单隐藏层MLP，优化方法为AdaGrad。

实验结果

研究问题

• RQ1 类别特定的视觉-语义映射是否能通过减少投影域偏移来提升零样本学习的泛化能力？
• RQ2 已见类别与未见类别之间的语义相似度在多大程度上影响视觉-语义映射的性能？
• RQ3 能否仅通过一次训练，使单一深度模型支持任意未见类别，同时使用自适应的类别特定特征掩码？
• RQ4 渐进式标签精炼是否能提升使用类别特定映射的零样本学习中的预测准确率？
• RQ5 在ImageNet等大规模基准测试中，所提方法与现有最先进方法相比表现如何？

主要发现

• DAEZSL在ImageNet 2011 21K数据集上达到最先进性能，相较于DeVISE、ConSE、EXEM和[28]等基线方法，在27个测试设置中的25个上表现更优。
• 在2跳测试集（10,000个未见类别）上，DAEZSL的Flat hit@1达到38.7%，领先次优方法超过4个百分点。
• 在3跳测试集（100,000个未见类别）上，DAEZSL的Flat hit@1达到32.1%，展现出强大的可扩展性。
• 在完整"all"测试集（20,345个未见类别）上，DAEZSL保持强劲表现，Flat hit@1为31.5%，表明其在多样化类别层级结构下的鲁棒性。
• 消融实验确认，DAEZSL中的类别特定特征掩码显著优于使用共享映射的基线方法ESZSL。
• 该方法在所有评估指标上均表现出一致增益，包括Hierarchical precision@K，证实其在处理语义层次结构与类别重叠方面的有效性。