[论文解读] Zero-Shot Recognition using Dual Visual-Semantic Mapping Paths

Yanan Li, Donghui Wang+3 more|arXiv (Cornell University)|Mar 15, 2017

Domain Adaptation and Few-Shot Learning被引用 15

一句话总结

该论文提出了一种新颖的双视觉-语义映射路径（DMaP）框架，用于零样本识别，通过利用图像空间和语义空间中固有的流形结构，联合优化视觉-语义映射与语义嵌入空间。通过迭代对齐图像空间与语义空间中的流形，该方法实现了最先进性能，在AwA数据集上达到90.49%的准确率，在ImageNet 2012 1K上达到38.94%的hit@1，且仅使用词向量，优于采用更丰富属性-词向量组合的方法。

ABSTRACT

Zero-shot recognition aims to accurately recognize objects of unseen classes by using a shared visual-semantic mapping between the image feature space and the semantic embedding space. This mapping is learned on training data of seen classes and is expected to have transfer ability to unseen classes. In this paper, we tackle this problem by exploiting the intrinsic relationship between the semantic space manifold and the transfer ability of visual-semantic mapping. We formalize their connection and cast zero-shot recognition as a joint optimization problem. Motivated by this, we propose a novel framework for zero-shot recognition, which contains dual visual-semantic mapping paths. Our analysis shows this framework can not only apply prior semantic knowledge to infer underlying semantic manifold in the image feature space, but also generate optimized semantic embedding space, which can enhance the transfer ability of the visual-semantic mapping to unseen classes. The proposed method is evaluated for zero-shot recognition on four benchmark datasets, achieving outstanding results.

研究动机与目标

• 解决零样本识别中未见类别缺乏训练图像的挑战。
• 探究语义嵌入空间的几何结构如何影响视觉-语义映射的可迁移性。
• 通过联合优化视觉-语义映射与语义嵌入空间，提升零样本识别性能。
• 开发一种方法，利用图像空间与语义空间中潜在的类别级流形，以增强对未见类别的泛化能力。
• 提供一个可泛化的框架，可与现有归纳式或归纳式ZSR方法集成，进一步提升性能。

提出的方法

• 提出一种双路径框架，包含两条视觉-语义映射路径：一条从图像空间 $\mathcal{X}_s$ 到标准语义空间 $\mathcal{K}_s$，另一条从 $\mathcal{X}_s$ 到优化后的语义空间 $\tilde{\mathcal{K}}_s$。
• 使用已知类别数据学习初始映射 $f_s$ 从 $\mathcal{X}_s$ 到 $\mathcal{K}_s$，建立视觉-语义对应关系的基线。
• 利用深度特征从 $\mathcal{X}_s$ 中提取潜在的类别级流形，并据此生成同构语义空间 $\tilde{\mathcal{K}}_s$。
• 通过迭代对齐 $\mathcal{X}_s$ 与 $\tilde{\mathcal{K}}_s$ 中的流形，同时优化映射 $\tilde{f}_s$ 与语义空间 $\tilde{\mathcal{K}}_s$。
• 将整个过程建模为联合优化问题，以增强对未见类别的可迁移性。
• 应用t-SNE可视化与混淆矩阵，分析流形对齐动态与各轮迭代中的分类性能。

实验结果

研究问题

• RQ1 语义嵌入空间的内在几何结构如何影响零样本识别中视觉-语义映射的可迁移性？
• RQ2 图像特征空间中潜在的类别级流形是否可用于指导构建更有效的语义嵌入空间？
• RQ3 对齐图像空间与语义空间中的流形对零样本识别性能有何影响？
• RQ4 当与优化后的语义空间联合优化时，简单的线性视觉-语义映射能否实现最先进性能？
• RQ5 当使用低质量语义嵌入（如词向量）时，所提方法与现有ZSR方法相比表现如何？相较于使用更丰富属性-词向量组合的方法，性能差异如何？

主要发现

• 所提出的DMaP框架在AwA数据集上实现了90.49%的零样本识别准确率，显著优于先前最先进方法。
• 在更具挑战性的ImageNet 2012 1K基准上，DMaP仅使用词向量嵌入即达到38.94%的hit@1准确率，超越了采用属性与词向量组合表示的方法。
• 即使初始语义空间质量较低（如仅使用词向量），DMaP仍能将性能提升至超过使用更丰富属性-词向量组合方法的水平。
• 迭代流形对齐过程使AwA数据集中美洲豹分类准确率从9%提升至89%（提升79%），证明了语义空间优化的有效性。
• 混淆矩阵分析表明，该方法通过改善图像与语义流形之间的对齐，减少了视觉相似类别（如黑猩猩与大猩猩）之间的误分类。
• 该框架具备良好的可泛化性，可灵活集成至现有归纳式ZSR方法中以进一步提升性能，即使在使用次优嵌入初始化时，仍表现出强劲性能。