[论文解读] Zero-Shot Learning via Joint Latent Similarity Embedding

Ziming Zhang, Venkatesh Saligrama|arXiv (Cornell University)|Nov 14, 2015

Domain Adaptation and Few-Shot Learning参考文献 30被引用 14

一句话总结

该论文提出了一种零样本学习框架，将识别任务表述为在源域（例如，文本属性）和目标域（例如，图像）实例之间进行二元匹配的问题，采用联合潜在相似性嵌入模型。通过在共享潜在空间中利用有监督字典学习学习一种与类别无关的相似性函数，该方法在四个基准数据集上相比SOTA方法平均准确率提升4.90%，在零样本检索任务中mAP提升22.45%。

ABSTRACT

Zero-shot recognition (ZSR) deals with the problem of predicting class labels for target domain instances based on source domain side information (e.g. attributes) of unseen classes. We formulate ZSR as a binary prediction problem. Our resulting classifier is class-independent. It takes an arbitrary pair of source and target domain instances as input and predicts whether or not they come from the same class, i.e. whether there is a match. We model the posterior probability of a match since it is a sufficient statistic and propose a latent probabilistic model in this context. We develop a joint discriminative learning framework based on dictionary learning to jointly learn the parameters of our model for both domains, which ultimately leads to our class-independent classifier. Many of the existing embedding methods can be viewed as special cases of our probabilistic model. On ZSR our method shows 4.90\% improvement over the state-of-the-art in accuracy averaged across four benchmark datasets. We also adapt ZSR method for zero-shot retrieval and show 22.45\% improvement accordingly in mean average precision (mAP).

研究动机与目标

• 通过利用已见类别中的辅助信息，解决在零样本学习中识别未见类别类别的挑战。
• 克服现有方法依赖显式类别特定建模或属性迁移的局限性。
• 开发一种通用的概率框架，将现有ZSL方法统一为特例。
• 通过在共享潜在空间中进行联合域对齐，提升零样本识别与检索性能。
• 通过学习对类别身份不变的通用相似性函数，实现对未见类别的泛化能力。

提出的方法

• 将零样本识别表述为二分类任务：预测源-目标实例对是否属于同一类别。
• 使用潜在概率框架建模匹配的后验概率，该框架分解为领域特定的似然项和跨领域相似性函数。
• 利用有监督字典学习框架，为源域和目标域学习联合潜在表示，以优化相似性函数。
• 在测试阶段，估计未见源域向量和目标实例的潜在嵌入，然后使用学习到的相似性函数对所有实例对进行打分。
• 使用已见类别数据进行模型训练，以判别性方式学习领域特定似然和通用相似性函数。
• 通过基于查询目标实例的相似性分数对源向量进行排序，将识别模型适配于零样本检索任务。

实验结果

研究问题

• RQ1 零样本识别能否被有效重构为源域与目标域实例之间的二元匹配问题？
• RQ2 在共享潜在空间中学习与类别无关的相似性函数是否能提升对未见类别的泛化能力？
• RQ3 所提出的联合潜在相似性嵌入模型在识别与检索任务中与现有SOTA方法相比表现如何？
• RQ4 现有ZSL方法在多大程度上可被解释为所提概率框架的特例？
• RQ5 域对齐与嵌入聚类对零样本设置下检索性能的影响如何？

主要发现

• 所提方法在四个基准数据集（aP&Y、AwA、CUB、SUN-attribute）上相比SOTA方法平均准确率提升4.90%。
• 在零样本检索任务中，与SOTA方法SSE相比，mAP提升22.45%，平均mAP达到53.78%。
• 与SSE-INT和SSE-ReLU相比，mAP分别提升17.45和21.54个百分点。
• 在AwA数据集的10个类别中，有6个类别的平均精度超过70%，且在其中6个类别上表现最佳。
• 可视化结果表明，即使对于“海豹”等困难类别，模型在前5名检索结果中也能正确召回图像，表明对相似视觉模式具有鲁棒性。
• 模型性能优越主要归因于更优的域对齐和在联合潜在空间中更紧凑的嵌入表示。