[论文解读] Zero-shot Learning via Shared-Reconstruction-Graph Pursuit

Bo Zhao, Xinwei Sun+2 more|arXiv (Cornell University)|Nov 20, 2017

Domain Adaptation and Few-Shot Learning参考文献 18被引用 9

一句话总结

本文提出了一种新颖的基于图的方法——共享重构图追踪（Shared-Reconstruction-Graph Pursuit, SRG），以解决零样本学习（ZSL）中的空间偏移问题，即图像空间与语义嵌入空间之间的分布偏移阻碍了知识迁移。通过在图像空间与语义空间之间学习共享的重构系数，SRG 实现了对未见类别原型的合成，从而在三个基准数据集上实现了最先进性能，包括在 ImageNet 上达到 18.26% 的 Top-5 准确率。

ABSTRACT

Zero-shot learning (ZSL) aims to recognize objects from novel unseen classes without any training data. Recently, structure-transfer based methods are proposed to implement ZSL by transferring structural knowledge from the semantic embedding space to image feature space to classify testing images. However, we observe that such a knowledge transfer framework may suffer from the problem of the geometric inconsistency between the data in the training and testing spaces. We call this problem as the space shift problem. In this paper, we propose a novel graph based method to alleviate this space shift problem. Specifically, a Shared Reconstruction Graph (SRG) is pursued to capture the common structure of data in the two spaces. With the learned SRG, each unseen class prototype (cluster center) in the image feature space can be synthesized by the linear combination of other class prototypes, so that testing instances can be classified based on the distance to these synthesized prototypes. The SRG bridges the image feature space and semantic embedding space. By applying spectral clustering on the learned SRG, many meaningful clusters can be discovered, which interprets ZSL performance on the datasets. Our method can be easily extended to the generalized zero-shot learning setting. Experiments on three popular datasets show that our method outperforms other methods on all datasets. Even with a small number of training samples, our method can achieve the state-of-the-art performance.

研究动机与目标

• 解决零样本学习中的空间偏移问题，即训练与测试数据分布在几何上不一致的图像空间与语义嵌入空间中。
• 开发一种方法，将语义空间中的结构知识有效迁移至图像特征空间，而无需依赖直接映射函数。
• 通过使用共享重构系数合成未见类别的原型，实现对未见类别的准确分类。
• 通过在 SRG 上应用谱聚类发现有意义的潜在簇，从而在广义零样本学习（GZSL）中提升泛化能力。
• 通过稀疏且具有局部结构的重构方式增强鲁棒性，尤其在训练样本有限时表现更优。

提出的方法

• 通过学习共享重构系数构建共享重构图（SRG），将图像空间中的每个类别原型映射为图像空间与语义嵌入空间中其他原型的线性组合。
• 将 SRG 的学习过程建模为一个带稀疏性与局部性正则化的优化问题，以选择相关且信息量丰富的原型用于重构。
• 在学习到的 SRG 上应用谱聚类，以在嵌入空间中发现有意义且可解释的簇，从而促进知识迁移。
• 利用从语义空间中导出的共享重构系数，在图像空间中合成未见类别的原型，通过最近邻距离实现分类。
• 通过在已见类与未见类上同时评估性能，将方法扩展至广义 ZSL，使用 ${u\rightarrow u}$、${s\rightarrow s}$ 和 ${s\rightarrow\tau}$ 等指标。
• 同时使用属性与词向量作为语义嵌入，并通过正则化实现融合，以提升鲁棒性与性能。

实验结果

研究问题

• RQ1 在图像与语义嵌入空间之间存在几何不一致性的情况下，如何有效实现结构知识在零样本学习中的迁移？
• RQ2 所提出的共享重构图（SRG）在多大程度上缓解了 ZSL 中的空间偏移问题？
• RQ3 稀疏且具有局部结构的重构是否能提升原型合成与分类准确率，尤其在训练样本较少时？
• RQ4 SRG 框架是否能够发现支持有效知识迁移的语义上合理的潜在簇？
• RQ5 与最先进方法相比，该方法在更贴近现实的广义零样本学习（GZSL）设置下表现如何？

主要发现

• 所提出的 SRG 方法在三个基准数据集上实现了最先进性能：在 ImageNet 上达到 18.26% 的 Top-5 准确率，优于 DeViSE 与 ConSE。
• 在 ImageNet 上，该方法实现了 8.14% 的 Top-1 准确率，相较于此前最佳结果（7.72%）提升了 0.42%，当应用稀疏性与局部性正则化时。
• 在 AwA 上，该方法在 GZSL 设置下所有指标中均达到最高准确率，${u\rightarrow u}$ 达到 100%，${s\rightarrow s}$ 达到 85.7%。
• 引入稀疏性正则化后，在使用属性作为语义嵌入时，性能最高提升达 16.29%，证明了其有效性。
• 在 SRG 上应用谱聚类后，AwA 上识别出 11 个有意义且可分离的簇，未见类别与语义上相似的已见类别被归为同一类，验证了方法的可解释性。
• 即使在训练样本数量较少的情况下，该方法仍保持优异性能，表明其具备良好的鲁棒性与泛化能力。