[论文解读] Zero-Shot Fine-Grained Classification by Deep Feature Learning with Semantics

Aoxue Li, Zhiwu Lu+4 more|arXiv (Cornell University)|Jul 4, 2017

Domain Adaptation and Few-Shot Learning参考文献 21被引用 4

一句话总结

本文提出了一种两阶段框架，用于零样本细粒度图像分类，通过利用层次化语义结构和领域自适应来学习判别性深度特征，随后在语义有向图上进行标签传播。该方法在 CUB-200-2011 和 Flowers-102 上取得了最先进性能，显著优于先前方法，尤其在弱监督设置下表现突出。

ABSTRACT

Fine-grained image classification, which aims to distinguish images with subtle distinctions, is a challenging task due to two main issues: lack of sufficient training data for every class and difficulty in learning discriminative features for representation. In this paper, to address the two issues, we propose a two-phase framework for recognizing images from unseen fine-grained classes, i.e. zero-shot fine-grained classification. In the first feature learning phase, we finetune deep convolutional neural networks using hierarchical semantic structure among fine-grained classes to extract discriminative deep visual features. Meanwhile, a domain adaptation structure is induced into deep convolutional neural networks to avoid domain shift from training data to test data. In the second label inference phase, a semantic directed graph is constructed over attributes of fine-grained classes. Based on this graph, we develop a label propagation algorithm to infer the labels of images in the unseen classes. Experimental results on two benchmark datasets demonstrate that our model outperforms the state-of-the-art zero-shot learning models. In addition, the features obtained by our feature learning model also yield significant gains when they are used by other zero-shot learning models, which shows the flexility of our model in zero-shot fine-grained classification.

研究动机与目标

• 解决每类训练数据不足的细粒度图像分类挑战。
• 通过引入细粒度类别之间的层次化语义结构，提升零样本学习中的特征判别能力。
• 通过领域自适应缓解零样本设置中训练数据与测试数据之间的领域偏移。
• 仅利用语义属性和学习到的深度特征，实现对未见细粒度类别的准确分类。
• 开发一种灵活的特征学习方法，提升在多种零样本学习模型上的性能。

提出的方法

• 利用从分类学关系（例如来自维基百科）中提取的层次化语义结构，指导特征学习，微调 VGG-16Net。
• 将领域自适应子网络集成到深度网络中，以减少训练数据与零样本测试数据之间的领域偏移。
• 基于类别属性构建语义有向图，以建模细粒度类别之间的关系。
• 在第一阶段学习到的深度特征基础上，对语义有向图应用标签传播算法，以推断未见类别的标签。
• 结合网络最后几层（conv5、fc6、fc7）的多级特征，以提升表征能力。
• 仅使用图像级别标签和文本属性，避免昂贵的部件标注或边界框。

实验结果

研究问题

• RQ1 细粒度类别之间的层次化语义结构是否能提升零样本细粒度分类中的特征学习？
• RQ2 领域自适应在减少零样本细粒度识别中的领域偏移方面有多有效？
• RQ3 基于类别属性的语义有向图是否能提升对未见细粒度类别的标签推理性能？
• RQ4 所提出的特征学习方法在不同零样本学习模型上是否具有良好泛化能力？
• RQ5 该方法在仅使用图像级别标签和文本属性的弱监督设置下表现如何？

主要发现

• 所提方法在 CUB-200-2011 上达到 56.5% 的准确率，显著优于同一设置下先前最先进方法（54.2%）。
• 在 Flowers-102 上，模型在弱监督设置下达到 49.5% 的准确率，超越了使用部件级监督的先前方法。
• 仅特征学习组件即可在多个基线零样本学习模型上提升性能，证明其良好的泛化能力。
• 消融实验表明，层次化分类子网络与领域自适应结构对实现最优性能均至关重要。
• 在语义有向图上进行标签传播显著提升了零样本泛化性能，尤其在结合判别性特征时效果更明显。
• 即使不使用部件级标注，模型仍能取得优异结果，凸显其在低资源环境下的高效性与实用性。