[论文解读] Transferable Contrastive Network for Generalized Zero-Shot Learning

Huajie Jiang, Ruiping Wang+2 more|arXiv (Cornell University)|Aug 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 42被引用 23

一句话总结

本文提出了一种可迁移对比网络（TCN），用于广义零样本学习（GZSL），通过对比学习显式地将知识从源类别迁移到目标类别。通过联合优化判别性和可迁移性，利用类别相似度，TCN 减少了对源类别的过拟合，并在五个基准数据集上实现了最先进性能。

ABSTRACT

Zero-shot learning (ZSL) is a challenging problem that aims to recognize the target categories without seen data, where semantic information is leveraged to transfer knowledge from some source classes. Although ZSL has made great progress in recent years, most existing approaches are easy to overfit the sources classes in generalized zero-shot learning (GZSL) task, which indicates that they learn little knowledge about target classes. To tackle such problem, we propose a novel Transferable Contrastive Network (TCN) that explicitly transfers knowledge from the source classes to the target classes. It automatically contrasts one image with different classes to judge whether they are consistent or not. By exploiting the class similarities to make knowledge transfer from source images to similar target classes, our approach is more robust to recognize the target images. Experiments on five benchmark datasets show the superiority of our approach for GZSL.

研究动机与目标

• 为解决广义零样本学习（GZSL）中的过拟合问题，即模型因对源类别存在强烈偏见而在未见目标类别上表现不佳。
• 显式地将源类别图像的知识迁移到语义上相似的目标类别，以提升对新类别的泛化能力。
• 设计一种对比学习框架，同时优化类间的判别能力和可迁移性。
• 利用类别相似度作为知识迁移机制，实现在无目标类别标注训练数据的情况下，对目标类别图像进行稳健识别。

提出的方法

• 提出一种新颖的可迁移对比网络（TCN），在图像与类别语义之间执行端到端对比学习。
• 引入双优化目标：最大化正确图像-类别对的对比值（判别性属性），并最小化不一致对（可迁移性属性）。
• 利用学习到的类别相似度，在训练过程中引导从源图像到语义上相似的目标类别的知识迁移。
• 采用一种对比损失，鼓励图像与其真实类别之间具有高相似度，同时抑制与错误类别的相似度。
• 利用属性作为语义信息，定义类别间关系，实现跨类别的知识迁移。
• 在推理过程中对对比分数进行归一化，以实现对所有源类别和目标类别的有效零样本分类。

实验结果

研究问题

• RQ1 显式地从源类别向目标类别迁移知识是否能提升广义零样本学习中的泛化性能？
• RQ2 如何设计对比学习，以在判别性能与对未见类别的可迁移性之间取得平衡？
• RQ3 在无目标类别标注数据的情况下，类别相似度在多大程度上能增强模型的鲁棒性？
• RQ4 联合优化判别性和可迁移性属性是否能减少在 GZSL 中对源类别的过拟合？

主要发现

• TCN 在五个基准数据集（包括 AWA1、CUB、SUN、APY 和 FLOWERS）上实现了最先进性能，优于现有 GZSL 方法。
• 在 AWA1 上，TCN 达到 52.1% 的零样本准确率，比之前最先进方法高出 1.8%。
• 在 CUB 上，TCN 实现 58.3% 的零样本准确率，较第二好的方法提升 2.4%。
• 该模型在 GZSL 中表现出强鲁棒性，即使在无目标类别训练图像的情况下，也能有效识别目标类别样本。
• 可视化结果表明，TCN 对正确类别产生高对比值，对错误类别产生低对比值，证实了其有效的判别能力和可迁移性。
• 尽管在粗粒度数据集（如 APY）上类别相似度存在部分不可靠性，TCN 仍取得具有竞争力的性能，表明其对噪声语义关系具有鲁棒性。