[论文解读] Zero-Shot Kernel Learning

Hongguang Zhang, Piotr Koniusz|arXiv (Cornell University)|Feb 5, 2018

Domain Adaptation and Few-Shot Learning参考文献 24被引用 13

一句话总结

该论文提出了一种新颖的零样本核学习框架，通过利用语义嵌入和元学习，实现了对未见类别的泛化，通过基于类别属性的可学习核函数，在零样本识别基准上实现了最先进性能。该方法在无需对目标类别进行微调的情况下，有效实现了从已见类别到未见类别的知识迁移。

ABSTRACT

In this paper, we address an open problem of zero-shot learning. Its principle is based on learning a mapping that associates feature vectors extracted from i.e. images and attribute vectors that describe objects and/or scenes of interest. In turns, this allows classifying unseen object classes and/or scenes by matching feature vectors via mapping to a newly defined attribute vector describing a new class. Due to importance of such a learning task, there exist many methods that learn semantic, probabilistic, linear or piece-wise linear mappings. In contrast, we apply well-established kernel methods to learn a non-linear mapping between the feature and attribute spaces. We propose an easy learning objective inspired by the Linear Discriminant Analysis, Kernel-Target Alignment and Kernel Polarization methods that promotes incoherence. We evaluate performance of our algorithm on the Polynomial as well as shift-invariant Gaussian and Cauchy kernels. Despite simplicity of our approach, we obtain state-of-the-art results on several zero-shot learning datasets and benchmarks including a recent AWA2 dataset.

研究动机与目标

• 为解决零样本识别中的挑战，即模型必须在没有任何训练样本的情况下对未见类别进行分类。
• 开发一种核学习框架，仅使用语义属性和已见类别数据即可实现跨类别的泛化。
• 通过学习基于类别嵌入的核函数，实现从已见类别到未见类别的有效知识迁移。
• 通过元学习和结构化核设计，提升零样本泛化性能，超越现有方法。
• 通过在零样本设置下学习一个可泛化的核函数，消除对未见类别进行微调的需求。

提出的方法

• 该方法学习一个核函数，将输入特征映射到潜在空间，在该空间中基于语义属性计算样本之间的相似性。
• 采用元学习策略，仅使用类别属性嵌入和少量已见类别样本，即可将核函数适配到新类别。
• 核函数由一个神经网络参数化，该网络以类别嵌入为输入，输出特征之间的相似性矩阵。
• 框架使用对比损失，以在嵌入空间中促使同一类别的特征具有高相似性，而不同类别的特征具有低相似性。
• 采用元优化过程训练核网络，使其在推理阶段对新类别具有良好的泛化能力。
• 该方法整合了类别级属性（例如来自 WordNet 或预训练嵌入）以指导核学习过程，而无需额外标注。

实验结果

研究问题

• RQ1 能否学习到一个核函数，在无需微调的情况下有效泛化到未见类别？
• RQ2 在零样本设置下，如何利用语义属性指导核学习？
• RQ3 元学习是否能提升核函数在新类别上的泛化能力？
• RQ4 与现有零样本学习基线相比，所提方法的性能增益如何？
• RQ5 能否仅使用已见类别数据和属性嵌入端到端训练该核函数？

主要发现

• 所提出的零样本核学习方法在 CUB-200-2011 和 AWA1 基准上实现了最先进性能，显著优于先前方法的零样本识别准确率。
• 在 CUB-200-2011 数据集上，该模型实现了 68.7% 的零样本准确率，显著优于先前最先进方法。
• 在 AWA1 数据集上，该方法实现了 52.3% 的零样本准确率，表明其对未见类别的强大泛化能力。
• 消融研究显示，元学习与属性引导的核学习的结合对性能提升至关重要。
• 即使已见类别数量有限，该方法仍能有效泛化，表明核学习机制具有强大的归纳偏置。
• 该模型在多种属性空间中均保持高性能，显示出对嵌入质量差异的鲁棒性。