[论文解读] Recovering the Missing Link: Predicting Class-Attribute Associations for Unsupervised Zero-Shot Learning

Ziad Al-Halah, Makarand Tapaswi+1 more|arXiv (Cornell University)|Oct 15, 2016

Domain Adaptation and Few-Shot Learning参考文献 29被引用 22

一句话总结

该论文提出CAAP，一种新颖的无监督零样本学习方法，仅通过未见类别的名称即可自动预测类别-属性关联。通过在共享嵌入空间中学习语义关系，CAAP在无需人工监督的情况下预测属性，并在AwA和aPascal/aYahoo数据集上均达到最先进性能，在aPascal/aYahoo数据集上相比之前方法提升超过18%。

ABSTRACT

Collecting training images for all visual categories is not only expensive but also impractical. Zero-shot learning (ZSL), especially using attributes, offers a pragmatic solution to this problem. However, at test time most attribute-based methods require a full description of attribute associations for each unseen class. Providing these associations is time consuming and often requires domain specific knowledge. In this work, we aim to carry out attribute-based zero-shot classification in an unsupervised manner. We propose an approach to learn relations that couples class embeddings with their corresponding attributes. Given only the name of an unseen class, the learned relationship model is used to automatically predict the class-attribute associations. Furthermore, our model facilitates transferring attributes across data sets without additional effort. Integrating knowledge from multiple sources results in a significant additional improvement in performance. We evaluate on two public data sets: Animals with Attributes and aPascal/aYahoo. Our approach outperforms state-of-the-art methods in both predicting class-attribute associations and unsupervised ZSL by a large margin.

研究动机与目标

• 消除零样本学习中对类别-属性关联人工标注的需求。
• 仅使用类别名称，实现对未见类别属性的自动预测。
• 在无需额外标注的情况下，实现视觉属性在不同数据集间的迁移。
• 通过联合建模多种语义关系，提升零样本分类性能。
• 通过仅依赖类别名称和预训练词嵌入，最小化用户干预。

提出的方法

• 该方法使用多关系链接预测框架，在共享嵌入空间中将类别-属性关联建模为语义关系。
• 利用预训练词嵌入（如GloVe或Word2Vec）将类别名和属性名表示为向量。
• 通过嵌入空间中的点积计算关系（如'has_color'）的似然得分，实现可微分的评分函数。
• 采用负采样和对比损失，端到端训练模型以优化关系预测。
• 支持多种关系的联合学习，包括基于属性的关系和层次关系（如'has_ancestor'）。
• 该框架通过复用学习到的关系和嵌入，实现跨数据集的零样本属性迁移。

实验结果

研究问题

• RQ1 我们能否在无需人工标注属性的情况下，预测未见类别的类别-属性关联？
• RQ2 在某一数据集上训练的模型，能否在无需额外工作的情况下，泛化到另一数据集的类别属性预测？
• RQ3 联合建模多种语义关系（如属性与层次结构）是否能提升零样本分类性能？
• RQ4 所提方法的性能与最先进无监督ZSL方法相比如何？
• RQ5 模型能否仅从类别名称自动推断层次关系（如祖先关系）？

主要发现

• 在AwA数据集上，CAAP实现68.6%的零样本学习准确率，相比之前最先进方法提升8.5%。
• 在aPascal/aYahoo数据集上，CAAP达到49.0%的准确率，相比次优方法显著提升18.8%。
• 即使对于非动物类别（如'jetski'和'carriage'），模型也能以高准确率预测未见类别的属性关联。
• 跨数据集属性迁移通过扩大描述词汇量，提升了分类器的判别能力。
• 在预测层次祖先关系方面，模型达到89.8%的mAP，展现出对语义层次的强大泛化能力。
• 联合学习属性关系与层次关系可提升属性预测性能，'has_pattern'关系提升达2.5%，'feeding_type'关系提升达2.1%。