[论文解读] Transductive Unbiased Embedding for Zero-Shot Learning

Jie Song, Chengchao Shen+3 more|arXiv (Cornell University)|Mar 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 34被引用 29

一句话总结

本文提出准完全监督学习（QFSL），一种归纳零样本学习方法，通过在训练过程中联合利用已标记的源类图像和未标记的目标类图像，减轻对已见（源）类的强烈偏差。通过将源图像映射到固定的语义锚点，并强制目标图像在嵌入空间中投影到不被源类锚点占据的独立、目标特定的点，QFSL 实现了最先进性能，在 AwA2、CUB 和 SUN 数据集的广义零样本学习设置下，超越先前方法 9.3–24.5%。

ABSTRACT

Most existing Zero-Shot Learning (ZSL) methods have the strong bias problem, in which instances of unseen (target) classes tend to be categorized as one of the seen (source) classes. So they yield poor performance after being deployed in the generalized ZSL settings. In this paper, we propose a straightforward yet effective method named Quasi-Fully Supervised Learning (QFSL) to alleviate the bias problem. Our method follows the way of transductive learning, which assumes that both the labeled source images and unlabeled target images are available for training. In the semantic embedding space, the labeled source images are mapped to several fixed points specified by the source categories, and the unlabeled target images are forced to be mapped to other points specified by the target categories. Experiments conducted on AwA2, CUB and SUN datasets demonstrate that our method outperforms existing state-of-the-art approaches by a huge margin of 9.3~24.5% following generalized ZSL settings, and by a large margin of 0.2~16.2% following conventional ZSL settings.

研究动机与目标

• 解决零样本学习中因新（目标）类图像常被误分类为已见（源）类而产生的强烈偏差问题。
• 提升广义零样本学习设置下的性能，其中测试数据包含源类和目标类。
• 开发一种在训练过程中同时利用已标记源数据和未标记目标数据的方法，以学习无偏的视觉-语义嵌入。
• 实现端到端训练，即使在目标类未来标签可用时仍保持有效性。

提出的方法

• 该方法采用归纳学习设置，假设在训练期间可访问已标记的源图像和未标记的目标图像。
• 源图像被映射到对应其源类别语义嵌入空间中的固定锚点。
• 未标记的目标图像被强制投影到语义空间中不被源类锚点占据的独立点，从而减少对源类的偏差。
• 使用深度神经网络（如 GoogLeNet 或 ResNet）端到端训练模型，以学习联合视觉-语义嵌入空间。
• 由于其与完全监督学习的相似性——即使没有目标类标签，也对源类和目标类数据联合训练分类器——该方法被命名为准完全监督学习（QFSL）。
• 该方法在保持源类高性能的同时，显著提升了目标类的性能，尤其在类别不平衡情况下表现更优。

实验结果

研究问题

• RQ1 如何在训练期间有效缓解零样本学习中对已见类的强烈偏差？
• RQ2 在广义零样本学习设置下，训练期间引入未标记的目标图像是否能提升泛化性能？
• RQ3 当源类与目标类之间类别不平衡程度增加时，所提方法的性能如何变化？
• RQ4 归纳方法是否能在常规和广义零样本学习基准中均实现最先进性能？

主要发现

• 在 AwA2、CUB 和 SUN 数据集的广义零样本学习设置下，QFSL 相较于现有最先进方法提升 9.3–24.5%。
• 在 CUB 和 AwA2 数据集上，QFSL R（带残差连接）性能优于 QFSL G；而在 SUN 数据集上，QFSL G 表现更优，可能由于 SUN 数据稀缺。
• 当源类数量增加时（如 SUN 上从 100 增至 645），QFSL 与基线 QFSL− 之间的性能差距扩大，证实 QFSL 在类别不平衡下仍具有效性。
• 该方法在保持高源类准确率（MCA_s）的同时显著提升目标类准确率（MCA_t），证明了偏差缓解的有效性。
• 在广义设置下，QFSL 相较于常规 ZSL 基线实现 0.2–16.2% 的性能提升。
• 消融研究证实，使用未标记目标数据对减少偏差和提升对未见类的泛化能力至关重要。