[论文解读] Zero-Shot Learning -- The Good, the Bad and the Ugly

Yongqin Xian, Bernt Schiele+1 more|arXiv (Cornell University)|Mar 13, 2017

Domain Adaptation and Few-Shot Learning参考文献 39被引用 100

一句话总结

对多数据集的零样本学习和广义零样本学习方法进行综合基准测试，统一评估协议，并提供关于良好、坏与丑陋实践的洞见。

ABSTRACT

Due to the importance of zero-shot learning, the number of proposed approaches has increased steadily recently. We argue that it is time to take a step back and to analyze the status quo of the area. The purpose of this paper is three-fold. First, given the fact that there is no agreed upon zero-shot learning benchmark, we first define a new benchmark by unifying both the evaluation protocols and data splits. This is an important contribution as published results are often not comparable and sometimes even flawed due to, e.g. pre-training on zero-shot test classes. Second, we compare and analyze a significant number of the state-of-the-art methods in depth, both in the classic zero-shot setting but also in the more realistic generalized zero-shot setting. Finally, we discuss limitations of the current status of the area which can be taken as a basis for advancing it.

研究动机与目标

• 定义一个统一的零样本学习基准测试，具有一致的评估协议和数据划分。
• 系统性地在零样本与广义零样本设置下比较最先进的方法。
• 分析当前 ZSL 研究中的局限性与实际问题，以指导未来改进。

提出的方法

• 用统一目标和兼容性分数形式化零样本学习。
• 评估线性和非线性兼容模型、中间属性分类器以及混合方法。
• 引入统一的评估协议，包括训练/验证/测试划分和每类准确率。
• 提出新的数据集划分，确保测试类不出现在 ImageNet1K 预训练中。
• 在 SUN、CUB、AWA、aPY 与 ImageNet 上评估零样本与广义零样本性能。
• 分析对超参数的鲁棒性并给出定性与定量的洞见。

实验结果

研究问题

• RQ1 不同的零样本学习方法在统一基准和评估协议下的表现如何？
• RQ2 使用预训练特征和避免测试类污染的划分有什么影响？
• RQ3 在经典零样本与广义零样本设置下，零样本方法的比较如何？
• RQ4 哪些方法族（兼容性学习与属性/分类为基础的方法）在实际评估下更具泛化能力？
• RQ5 在实际研究中有哪些实际局限性和推荐做法来改进 ZSL 研究？

主要发现

• 最大边缘兼容性方法（ALE、DEVISE、SJE）在统一划分下的零样本表现强劲，而混合/基于属性的方法在某些设置下略显劣势。
• 广义零样本学习要困难得多，调和平均在对已见与未见类的平衡性能方面表现最佳。
• 提出的避免 ImageNet1K 泄漏的划分（PS）显示出更低但更现实的性能，尤其是对像 CUB 和 SUN 这样的细粒度数据集。
• 结果表明模型排名对数据集划分和评估协议敏感，凸显标准化基准的必要性。
• 带新颖性检测的 CMT（CMT*）在若干设置下优于 CMT，表明简单新颖性机制的潜在收益。
• 在大规模 ImageNet 上，SYNC 常常达到顶尖表现，表明在大语义空间中使用 Word2Vec 嵌入的有效性。）