[论文解读] Zero and Few Shot Learning with Semantic Feature Synthesis and Competitive Learning

Zhiwu Lu, Jiechao Guan+4 more|arXiv (Cornell University)|Oct 19, 2018

Domain Adaptation and Few-Shot Learning参考文献 59被引用 5

一句话总结

该论文提出了一种统一的零样本学习（ZSL）与少样本学习（FSL）框架，通过基于原型的扰动与竞争性双向投影学习（BPL）实现语义特征合成。通过从类别原型生成合成的未见类别特征，并训练一种考虑每个样本最可能的两类的鲁棒、竞争性投影模型，该方法在大规模与小规模基准测试中均实现了最先进性能，在零样本与少样本识别任务中优于先前方法。

ABSTRACT

Zero-shot learning (ZSL) is made possible by learning a projection function between a feature space and a semantic space (e.g.,~an attribute space). Key to ZSL is thus to learn a projection that is robust against the often large domain gap between the seen and unseen class domains. In this work, this is achieved by unseen class data synthesis and robust projection function learning. Specifically, a novel semantic data synthesis strategy is proposed, by which semantic class prototypes (e.g., attribute vectors) are used to simply perturb seen class data for generating unseen class ones. As in any data synthesis/hallucination approach, there are ambiguities and uncertainties on how well the synthesised data can capture the targeted unseen class data distribution. To cope with this, the second contribution of this work is a novel projection learning model termed competitive bidirectional projection learning (BPL) designed to best utilise the ambiguous synthesised data. Specifically, we assume that each synthesised data point can belong to any unseen class; and the most likely two class candidates are exploited to learn a robust projection function in a competitive fashion. As a third contribution, we show that the proposed ZSL model can be easily extended to few-shot learning (FSL) by again exploiting semantic (class prototype guided) feature synthesis and competitive BPL. Extensive experiments show that our model achieves the state-of-the-art results on both problems.

研究动机与目标

• 为解决零样本学习（ZSL）中已见类别与未见类别之间的域差距问题，该问题在无真实未见样本时会阻碍准确识别。
• 通过简单扰动已见类别特征来合成未见类别数据（例如，使用属性向量等语义原型），提升ZSL的鲁棒性。
• 开发一种基于竞争学习的投影模型，通过考虑每个样本的两个最可能的未见类别候选，处理合成数据中的不确定性。
• 将所提出的ZSL框架扩展至少样本学习（FSL），采用相同的语义合成与竞争性投影机制。
• 在大规模与小规模设置下，特别是在低样本设置中，实现在ZSL与FSL任务中的最先进性能。

提出的方法

• 提出一种新颖的语义特征合成策略，通过未见类别原型（例如，属性向量）对已见类别特征进行扰动，生成合成的未见类别特征，无需生成模型。
• 引入竞争性双向投影学习（BPL）模型，其中每个合成样本以竞争方式投影至两个最可能的未见类别，以提升鲁棒性。
• BPL模型采用min-min/max-min公式化，联合学习视觉到语义与语义到视觉的投影，同时施加竞争约束。
• 优化过程采用结合梯度下降与上升的迭代算法，具有理论收敛保证。
• 通过将相同的语义合成与竞争性BPL应用于少样本支持集，将框架扩展至少样本学习。
• 视觉特征通过预训练的CNN（例如，Simple、WRN）提取，评估遵循ImageNet与mini-ImageNet上的标准ZSL与FSL协议。

实验结果

研究问题

• RQ1 基于语义原型的扰动能否有效合成适用于零样本学习的逼真未见类别特征？
• RQ2 竞争性双向投影学习能否提升对合成数据中域偏移与不确定性的鲁棒性？
• RQ3 所提出的框架在支持样本有限的情况下能否有效泛化至少样本学习？
• RQ4 与最先进方法相比，该模型在大规模与小规模基准测试中的表现如何？
• RQ5 竞争性学习机制能否在ZSL与FSL中超越标准最近邻或单类别投影方法？

主要发现

• 在大规模ImageNet ZSL基准上，所提方法实现了最先进性能，在零样本与少样本设置下均优于先前SOTA方法。
• 在mini-ImageNet FSL基准上，采用Wide ResNet（WRN）特征提取器时，该方法实现了75.62%的5-way 5-shot准确率，超过此前SOTA的73.74%。
• 在mini-ImageNet上，采用WRN时，该方法实现了58.53%的5-way 1-shot准确率，优于此前最佳结果59.60%（PPA方法，相同主干网络）。
• 竞争性BPL模型显著优于基线最近邻与标准投影方法，尤其在低样本设置中表现更优。
• 更强的视觉特征提取器（例如，WRN）可显著提升性能，证实了高质量特征在该框架中的重要性。
• 消融实验表明，竞争性学习机制至关重要，若移除该机制将导致性能下降，验证了其在处理合成数据不确定性中的关键作用。