[论文解读] Zero-Shot Visual Recognition via Bidirectional Latent Embedding

Qian Wang, Ke Chen|arXiv (Cornell University)|Jul 7, 2016

Domain Adaptation and Few-Shot Learning参考文献 60被引用 9

一句话总结

本文提出了一种用于零样本视觉识别的新型双向潜在嵌入框架，通过两阶段过程联合建模视觉空间与语义空间：首先利用保持局部性的投影从已知类别数据中学习监督潜在空间，然后通过地标引导的半监督Sammon映射将未见类别语义嵌入该空间。该方法在四个基准数据集（AwA、CUB-200-2011、UCF101、HMDB51）上实现了最先进性能，在归纳与归纳外设置下显著优于先前方法，通过互补表示学习与结构化嵌入有效弥合了语义与视觉鸿沟。

ABSTRACT

Zero-shot learning for visual recognition, e.g., object and action recognition, has recently attracted a lot of attention. However, it still remains challenging in bridging the semantic gap between visual features and their underlying semantics and transferring knowledge to semantic categories unseen during learning. Unlike most of the existing zero-shot visual recognition methods, we propose a stagewise bidirectional latent embedding framework to two subsequent learning stages for zero-shot visual recognition. In the bottom-up stage, a latent embedding space is first created by exploring the topological and labeling information underlying training data of known classes via a proper supervised subspace learning algorithm and the latent embedding of training data are used to form landmarks that guide embedding semantics underlying unseen classes into this learned latent space. In the top-down stage, semantic representations of unseen-class labels in a given label vocabulary are then embedded to the same latent space to preserve the semantic relatedness between all different classes via our proposed semi-supervised Sammon mapping with the guidance of landmarks. Thus, the resultant latent embedding space allows for predicting the label of a test instance with a simple nearest-neighbor rule. To evaluate the effectiveness of the proposed framework, we have conducted extensive experiments on four benchmark datasets in object and action recognition, i.e., AwA, CUB-200-2011, UCF101 and HMDB51. The experimental results under comparative studies demonstrate that our proposed approach yields the state-of-the-art performance under inductive and transductive settings.

研究动机与目标

• 解决零样本视觉识别中视觉特征与其潜在语义之间持续存在的语义鸿沟挑战。
• 通过在共享潜在空间中建模语义相关性，实现从已知类别到未见类别的有效知识迁移。
• 通过联合学习互补的视觉与语义表示，提升零样本识别性能。
• 开发一种支持归纳与归纳外零样本学习设置且具备强泛化能力的框架。
• 证明地标引导的半监督Sammon映射在嵌入过程中保持语义结构的有效性。

提出的方法

• 利用已知类别视觉特征上的监督局部保持投影（SLPP）构建潜在嵌入空间，保留局部结构与类别标签。
• 从已知类别训练数据中学习的潜在空间内识别地标，以指导未见类别语义的嵌入。
• 应用半监督Sammon映射，将未见类别标签的语义表示嵌入同一潜在空间，同时保留类间语义关系。
• 在Sammon映射中引入地标引导约束，确保未见类别嵌入与已知类别潜在空间的拓扑结构对齐。
• 采用最近邻规则进行推理，其中测试样本根据其在共享潜在空间中与嵌入类别原型的距离进行分类。
• 通过互补表示选择算法整合多种视觉表示（如C3D、基于IDT的FV描述符），以增强特征多样性与鲁棒性。

实验结果

研究问题

• RQ1 两阶段双向潜在嵌入框架能否有效弥合零样本学习中视觉特征与未见类别语义之间的语义鸿沟？
• RQ2 地标引导的半监督Sammon映射在嵌入过程中对已知类与未见类之间语义关系的保持效果如何？
• RQ3 联合使用互补视觉表示在标准基准上对零样本识别性能的提升程度如何？
• RQ4 所提出的框架是否在归纳与归纳外零样本学习设置下均实现最先进性能？
• RQ5 该方法在对象识别与人类动作识别等多样化视觉识别任务中表现出多强的鲁棒性？

主要发现

• 所提出的双向潜在嵌入框架在四个基准数据集（AwA、CUB-200-2011、UCF101、HMDB51）上实现了最先进性能。
• 在UCF101与HMDB51上，C3D与四种基于Fisher向量的IDT表示（经互补表示选择算法选出）的组合取得最高性能，显著优于任一单一表示。
• 随着更多互补视觉表示逐步增加，识别准确率持续提升，证实了表示选择过程的有效性。
• 地标引导的半监督Sammon映射有效保持了类别间的语义相关性，使得通过简单最近邻规则实现准确的零样本预测成为可能。
• 该框架在归纳与归纳外设置下均取得优异结果，表明其在不同学习范式下的泛化能力。
• 大量消融与对比研究证实，所提方法在准确率与鲁棒性方面均优于现有零样本学习方法。