[论文解读] Unified Generator-Classifier for Efficient Zero-Shot Learning

Ayyappa Kumar Pambala, Titir Dutta+1 more|arXiv (Cornell University)|May 11, 2019

Domain Adaptation and Few-Shot Learning参考文献 26被引用 4

一句话总结

本文提出GenClass，一种统一的生成式框架，通过端到端联合训练生成器与分类器实现零样本学习，无需为新类别重新训练独立分类器。通过将分类器与生成器集成，模型生成更具判别性的特征，在物体与动作识别基准上实现最先进性能，且生成样本数量显著减少。

ABSTRACT

Generative models have achieved state-of-the-art performance for the zero-shot learning problem, but they require re-training the classifier every time a new object category is encountered. The traditional semantic embedding approaches, though very elegant, usually do not perform at par with their generative counterparts. In this work, we propose an unified framework termed GenClass, which integrates the generator with the classifier for efficient zero-shot learning, thus combining the representative power of the generative approaches and the elegance of the embedding approaches. End-to-end training of the unified framework not only eliminates the requirement of additional classifier for new object categories as in the generative approaches, but also facilitates the generation of more discriminative and useful features. Extensive evaluation on three standard zero-shot object classification datasets, namely AWA, CUB and SUN shows the effectiveness of the proposed approach. The approach without any modification, also gives state-of-the-art performance for zero-shot action classification, thus showing its generalizability to other domains.

研究动机与目标

• 解决现有生成式ZSL方法效率低下的问题，即为每个新类别都需要重新训练独立分类器。
• 结合生成模型的高性能与语义嵌入方法的优雅性。
• 通过生成器与分类器的端到端训练，提升特征判别能力。
• 通过对齐生成与分类目标，实现仅用极少生成样本即可高效推理。
• 在不同领域（包括动作识别）中展示统一框架的泛化能力。

提出的方法

• 该框架将生成器与分类器整合为单一可端到端训练的模块，其中生成器从未见类别的属性生成假图像。
• 分类器通过同时使用真实特征与生成特征，训练以区分真实图像与假图像是否属于同一类别。
• 在对抗训练设置中使用判别器，以提升生成样本的真实感与判别质量。
• 生成器同时以已见与未见类别属性为条件，生成具有类别特异性的语义有意义特征。
• 统一的训练过程确保生成特征直接针对分类性能进行优化。
• 该框架兼容多种生成模型（如WGAN与CVAE），展现出模块化的泛化能力。

实验结果

研究问题

• RQ1 与顺序训练相比，生成器与分类器的端到端联合训练是否能提升零样本分类性能？
• RQ2 将分类器集成到生成过程中是否能减少达到良好性能所需的生成样本数量？
• RQ3 该统一框架是否能泛化到物体识别之外的其他领域（如动作识别）？
• RQ4 与分离训练方法相比，所提出的统一方法在生成特征的判别质量上表现如何？
• RQ5 在广义零样本学习中，该统一框架在多大程度上减少了对已见类别的偏差？

主要发现

• GenClass在三个标准ZSL物体识别数据集上达到最先进性能：AWA（71.4%）、CUB（59.6%）与SUN（62.2%）（ZSL设置下）。
• 在广义ZSL设置下，GenClass在AWA上达到49.8%的调和平均准确率，优于先前方法。
• 仅使用每类20个生成样本，GenClass在CUB上达到60.5%的准确率，性能迅速饱和——远少于先前生成方法所需的数百个样本。
• 在GenClass生成的特征上使用Softmax分类器，在CUB上（ZSL）达到59.6%的准确率，高于原始f-CLSWGAN框架的57.3%，证明特征判别能力更强。
• 当将WGAN生成器替换为CVAE时，统一分类器模块在所有数据集上仍能提升性能，证实框架的泛化能力。
• 在动作识别数据集上，GenClass在UCF101上达到27.5%的top-1准确率，在HMDB51上达到21.3%，在ZSL设置下优于最先进方法。