[论文解读] Rethinking Zero-Shot Learning: A Conditional Visual Classification Perspective

Kai Li, Martin Renqiang Min+1 more|arXiv (Cornell University)|Sep 13, 2019

Domain Adaptation and Few-Shot Learning参考文献 44被引用 9

一句话总结

该论文通过将零样本学习（ZSL）重新构想为一种条件视觉分类问题，将深度神经网络直接从语义属性生成视觉分类器，从而重新思考了ZSL。通过保留视觉特征的判别能力并利用类别间竞争，该方法在传统、广义化和归纳式ZSL设置下均实现了最先进性能，在基准数据集上的表现显著优于先前方法。

ABSTRACT

Zero-shot learning (ZSL) aims to recognize instances of unseen classes solely based on the semantic descriptions of the classes. Existing algorithms usually formulate it as a semantic-visual correspondence problem, by learning mappings from one feature space to the other. Despite being reasonable, previous approaches essentially discard the highly precious discriminative power of visual features in an implicit way, and thus produce undesirable results. We instead reformulate ZSL as a conditioned visual classification problem, i.e., classifying visual features based on the classifiers learned from the semantic descriptions. With this reformulation, we develop algorithms targeting various ZSL settings: For the conventional setting, we propose to train a deep neural network that directly generates visual feature classifiers from the semantic attributes with an episode-based training scheme; For the generalized setting, we concatenate the learned highly discriminative classifiers for seen classes and the generated classifiers for unseen classes to classify visual features of all classes; For the transductive setting, we exploit unlabeled data to effectively calibrate the classifier generator using a novel learning-without-forgetting self-training mechanism and guide the process by a robust generalized cross-entropy loss. Extensive experiments show that our proposed algorithms significantly outperform state-of-the-art methods by large margins on most benchmark datasets in all the ZSL settings. Our code is available at \url{https://github.com/kailigo/cvcZSL}

研究动机与目标

• 为解决现有ZSL方法在将视觉特征投影到共享嵌入空间时隐式丢弃视觉特征判别能力的局限性。
• 将ZSL重新表述为一种条件视觉分类任务，通过语义属性生成分类器以保留视觉特征的判别性。
• 通过利用类别间竞争和稳健的自训练机制，提升在传统、广义化和归纳式ZSL设置下的性能。
• 通过在保持已见类别强判别能力的同时增强未见类别泛化能力，缓解广义化ZSL中的性能下降问题。

提出的方法

• 提出一种深度神经网络，通过基于任务的元学习训练方案，直接从语义属性生成视觉特征分类器。
• 采用基于余弦相似度的交叉熵损失，以减少视觉特征与语义特征相关时的领域差异影响。
• 在广义化ZSL设置中，将已见类和未见类的生成分类器拼接，以同时对所有类别进行分类，从而保持强已见类别判别能力。
• 在归纳式设置中，利用未见类别的无标签图像，通过伪标签和无遗忘学习策略校准分类器生成器。
• 应用一种稳健的广义交叉熵损失，以最小化自训练过程中噪声或错误伪标签的影响。
• 采用元学习范式，通过合成的“虚假”ZSL任务，提升对真实世界未见类别识别的泛化能力。

实验结果

研究问题

• RQ1 是否可以通过保留视觉特征的内在判别能力而非将其投影到共享空间，来改进零样本学习？
• RQ2 如何在不依赖视觉-语义对齐的情况下，利用类别间竞争和已见类别之间的判别信息来改进ZSL？
• RQ3 在广义化ZSL设置中，能否在保持已见类别高性能的同时，使在已见类别上训练的分类器生成器有效泛化到未见类别？
• RQ4 如何有效利用未见类别的无标签数据来优化分类器生成器，同时避免过拟合或错误累积？

主要发现

• 所提方法在大多数基准数据集的所有ZSL设置下均实现了最先进性能，显著优于现有方法。
• 在广义化ZSL设置中，尽管初始出现轻微峰值后逐渐下降，该方法在已见类别上的性能（GZSL-Seen）仍保持较高水平，归因于缓慢的退化速率。
• 已见类与未见类准确率的调和平均值（GZSL-H）在训练过程中稳步提升并稳定在高水平，表明性能平衡且稳健。
• 可视化结果表明，该模型仅基于语义描述即可合理捕捉未见类别的判别性视觉特征，且误分类仅发生在高度模糊的情况下。
• 该模型在未见类别上的性能（GZSL-Unseen）在训练过程中稳步提升并保持稳定，表明对新类别的有效泛化能力。