[论文解读] Synthesized Classifiers for Zero-Shot Learning

Soravit Changpinyo, Wei‐Lun Chao+2 more|arXiv (Cornell University)|Mar 2, 2016

Domain Adaptation and Few-Shot Learning参考文献 31被引用 57

一句话总结

本文提出了一种基于流形学习的零样本学习方法，通过可调节的‘幽灵’类别作为共享基础，实现语义空间与模型空间的对齐。通过优化这些幽灵类别，使其能够实现真实分类器的凸组合，该方法在四个基准数据集上实现了最先进（SOTA）的准确率，包括包含超过20,000个未见类别的ImageNet。

ABSTRACT

Given semantic descriptions of object classes, zero-shot learning aims to accurately recognize objects of the unseen classes, from which no examples are available at the training stage, by associating them to the seen classes, from which labeled examples are provided. We propose to tackle this problem from the perspective of manifold learning. Our main idea is to align the semantic space that is derived from external information to the model space that concerns itself with recognizing visual features. To this end, we introduce a set of "phantom" object classes whose coordinates live in both the semantic space and the model space. Serving as bases in a dictionary, they can be optimized from labeled data such that the synthesized real object classifiers achieve optimal discriminative performance. We demonstrate superior accuracy of our approach over the state of the art on four benchmark datasets for zero-shot learning, including the full ImageNet Fall 2011 dataset with more than 20,000 unseen classes.

研究动机与目标

• 解决在无标注训练样本的情况下识别未见物体类别的问题。
• 克服现有方法在有效对齐语义嵌入与视觉模型空间方面的局限性。
• 通过学习语义空间与视觉模型空间之间的共享表示，提升零样本识别性能。
• 实现对大规模数据集（如包含数万个未见类别的ImageNet）的泛化能力。
• 开发一种方法，通过优化的幽灵基底合成真实分类器，以增强判别性能。

提出的方法

• 引入‘幽灵’物体类别，其语义空间与模型空间坐标联合优化。
• 将语义空间与视觉模型空间均建模为加权图，类间相关性通过边权重编码。
• 使用流形学习（如拉普拉斯特征映射）将语义空间顶点投影到模型空间，保留类间关系。
• 将真实物体分类器表示为幽灵类别分类器的凸组合，从而实现未见类别模型的合成。
• 利用已标注的已见类别数据优化幽灵类别坐标，以最大化在未见类别上的判别准确率。
• 利用深度特征以实现更好的语义对齐，并在性能上优于浅层特征。

实验结果

研究问题

• RQ1 如何有效对齐语义空间与视觉模型空间，以提升零样本泛化能力？
• RQ2 幽灵类别能否作为共享基底，用于合成高性能的未见类别分类器？
• RQ3 使用深度特征与浅层特征对分类器合成性能有何影响？
• RQ4 需要多少个幽灵（基底）分类器才能实现优异性能，特别是在细粒度数据集上？
• RQ5 为何某些与已见类别在语义上相似的未见类别图像仍会被错误分类？

主要发现

• 所提方法在四个基准数据集上实现了最先进（SOTA）的零样本识别准确率，包括包含超过20,000个未见类别的ImageNet Fall 2011。
• 在CUB数据集上，即使仅使用60%的已见类别数量作为幽灵基底，该方法仍表现出优越性能，表明其具有高数据效率。
• 使用深度特征显著优于浅层特征，归因于更好的语义对齐效果和更低的维度。
• 失败案例主要源于测试图像与语义上相似的已见类别在视觉特征上存在差异，尽管语义上相似。
• 该方法在细粒度识别任务中表现出鲁棒性，高类别相关性使得使用较少幽灵基底即可实现有效的分类器合成。
• 主成分分析（PCA）显示，CUB数据集比AwA需要更少的主成分即可捕捉分类器方差，解释了为何在CUB上使用更少基底时性能更优。