[论文解读] Visual Space Optimization for Zero-shot Learning

Xinsheng Wang, Shanmin Pang+4 more|arXiv (Cornell University)|Jun 30, 2019

Domain Adaptation and Few-Shot Learning参考文献 59被引用 7

一句话总结

本文通过引入可学习的视觉原型方法和基于多层感知机的框架，提出了一种视觉空间优化方法，以提升视觉特征结构。基于原型的方法通过用判别性、可学习的原型替代类别中心，实现了在GZSL上的最先进性能，显著提升了现有方法的泛化能力。

ABSTRACT

Zero-shot learning, which aims to recognize new categories that are not included in the training set, has gained popularity owing to its potential ability in the real-word applications. Zero-shot learning models rely on learning an embedding space, where both semantic descriptions of classes and visual features of instances can be embedded for nearest neighbor search. Recently, most of the existing works consider the visual space formulated by deep visual features as an ideal choice of the embedding space. However, the discrete distribution of instances in the visual space makes the data structure unremarkable. We argue that optimizing the visual space is crucial as it allows semantic vectors to be embedded into the visual space more effectively. In this work, we propose two strategies to accomplish this purpose. One is the visual prototype based method, which learns a visual prototype for each visual class, so that, in the visual space, a class can be represented by a prototype feature instead of a series of discrete visual features. The other is to optimize the visual feature structure in an intermediate embedding space, and in this method we successfully devise a multilayer perceptron framework based algorithm that is able to learn the common intermediate embedding space and meanwhile to make the visual data structure more distinctive. Through extensive experimental evaluation on four benchmark datasets, we demonstrate that optimizing visual space is beneficial for zero-shot learning. Besides, the proposed prototype based method achieves the new state-of-the-art performance.

研究动机与目标

• 解决视觉特征空间中类内和类间区分度差的问题，该问题阻碍了有效的零样本学习。
• 克服在嵌入空间中使用离散、非判别性的视觉特征中心作为类别表征代理的局限性。
• 通过优化视觉空间结构并增强原型表征能力，提升零样本学习模型的泛化能力。
• 开发一种灵活的框架，联合学习中间嵌入空间，并通过专用损失函数强化视觉数据结构。

提出的方法

• 提出一种基于视觉原型的方法，使用交叉熵损失为每个视觉类别学习一个判别性原型，替代平均视觉特征中心。
• 引入一个多层感知机（MLP）框架，将视觉特征和语义向量映射到共享的中间嵌入空间。
• 设计一种结构优化损失，增强嵌入空间中视觉特征的内在数据结构，促进更好的聚类和分离。
• 将排序损失（简单或双向）与结构优化损失结合，确保语义-视觉配对相似且不匹配配对相距较远。
• 使用双向排序损失提升语义和视觉嵌入之间的相似性学习，增强联合空间中的判别能力。
• 通过组合交叉熵损失、排序损失和结构优化损失，端到端训练模型，联合优化原型学习和特征空间几何结构。

实验结果

研究问题

• RQ1 与使用平均视觉特征中心相比，为每个类别学习一个判别性视觉原型是否能提升零样本泛化能力？
• RQ2 在中间嵌入空间中优化视觉特征的内在结构是否能带来更好的零样本学习性能？
• RQ3 所提出的结构优化损失与标准排序损失相比，在提升视觉特征聚类和判别能力方面表现如何？
• RQ4 双向排序损失与简单排序损失相比，在提升嵌入空间质量方面的相对贡献是什么？
• RQ5 所提出的视觉原型方法是否能在ZSL和广义ZSL基准上均达到最先进性能？

主要发现

• 所提出的基于视觉原型的方法在ZSL和广义ZSL（GZSL）基准上均取得了新的最先进性能，在AwA1和AwA2数据集上全面超越所有先前方法。
• 在AwA1和AwA2数据集上，基于视觉原型的方法（VPB）显著优于基于视觉中心的方法（VCB），证明了可学习原型相较于平均中心的优越性。
• 结构优化方法表现强劲，尤其在ZSL任务中，表明改进的视觉数据结构能提升识别准确率。
• 双向排序损失相较于简单排序损失有轻微但明显的提升，尤其在更真实的GZSL设置中，表明语义和视觉嵌入对齐更优。
• 将结构优化损失与任一排序损失结合均能带来更优性能，证实视觉特征的几何结构是零样本学习成功的关键因素。
• 在四个基准数据集（AwA1、AwA2、CUB、SUN）上的大量实验验证了所提方法的有效性和泛化能力。