[论文解读] Zero-Shot Learning -- A Comprehensive Evaluation of the Good, the Bad and the Ugly

Yongqin Xian, Christoph H. Lampert+2 more|arXiv (Cornell University)|Jul 3, 2017

Domain Adaptation and Few-Shot Learning参考文献 70被引用 171

一句话总结

本文定义了统一的零样本学习和广义零样本学习基准，提出了 Animals with Attributes 2 (AWA2) 数据集，并在多样的数据集和设定中对多种 ZSL 方法进行了全面评估，同时讨论了当前的局限性和最佳实践。

ABSTRACT

Due to the importance of zero-shot learning, i.e. classifying images where there is a lack of labeled training data, the number of proposed approaches has recently increased steadily. We argue that it is time to take a step back and to analyze the status quo of the area. The purpose of this paper is three-fold. First, given the fact that there is no agreed upon zero-shot learning benchmark, we first define a new benchmark by unifying both the evaluation protocols and data splits of publicly available datasets used for this task. This is an important contribution as published results are often not comparable and sometimes even flawed due to, e.g. pre-training on zero-shot test classes. Moreover, we propose a new zero-shot learning dataset, the Animals with Attributes 2 (AWA2) dataset which we make publicly available both in terms of image features and the images themselves. Second, we compare and analyze a significant number of the state-of-the-art methods in depth, both in the classic zero-shot setting but also in the more realistic generalized zero-shot setting. Finally, we discuss in detail the limitations of the current status of the area which can be taken as a basis for advancing it.

研究动机与目标

• 在公开数据集上定义并统一零样本学习的评估协议与数据划分。
• 引入具有公开可用图像与特征的 Animals with Attributes 2 (AWA2) 数据集。
• 系统性地比较在零样本学习和广义零样本学习设置下的多种 ZSL 方法。
• 突出当前基准的局限性并提出稳健评估的原则性做法。

提出的方法

• 统一评估协议和数据划分，以确保跨方法和跨数据集的公平比较。
• 引入 AWA2，这是一个公开许可的数据集，具有与 AWA1 相同的类别和属性，并附带公开的图像特征和图像。
• 评估线性、非线性、混合和生成式的 ZSL 方法，包括两阶段属性模型、嵌入/兼容性模型以及传导扩展。
• 讨论传导式 ZSL 方法以及如何与现有框架（例如 ALE、基于 EM 的 GFZSL-tran、标签传播）集成。
• 评估数据集划分以避免来自 ImageNet 预训练的泄漏，并强调逐类别准确率和实际评估设定。

实验结果

研究问题

• RQ1 在统一的评估协议下，现代 ZSL 方法在多个数据集上表现如何？
• RQ2 数据集选择和数据划分对报告的 ZSL 与 GZSL 性能有何影响？
• RQ3 当前的评估实践是否存在可比性问题或来自预训练特征的泄漏，并如何缓解？
• RQ4 与标准零样本学习相比，广义零样本学习的优点与局限是什么？
• RQ5 为实现对 ZSL 方法的公平和可扩展评估，需要哪些资源（数据、特征）？

主要发现

• 由于评估协议和数据划分不一致，基准测试中的现有结果往往不可比。
• 作者建立了统一的基准并引入 AWA2，以实现带有公开特征和图像的公平、遵循许可的评估。
• 在五个数据集上对大范围的方法（线性、非线性、混合、传导）进行了基准测试，提供统计显著性和鲁棒性分析。
• 研究强调当前 ZSL 研究的局限性，并强调需要包含广义零样本学习以反映实际场景。
• 本文展示了在不重叠的验证划分上仔细调整超参数以避免泄漏和过于乐观的报告的必要性。