[论文解读] Visually Aligned Word Embeddings for Improving Zero-shot Learning

Ruizhi Qiao, Lingqiao Liu+2 more|arXiv (Cornell University)|Jul 18, 2017

Domain Adaptation and Few-Shot Learning参考文献 13被引用 15

一句话总结

本文提出视觉对齐词嵌入（VAWE），一种通过使用三元组损失的神经网络将预训练分布式词嵌入（DWEs）重新嵌入到新空间的方法，以对齐其邻域结构与视觉特征。VAWE在四个基准数据集和四种零样本学习（ZSL）方法上显著提升了性能，实现了与人工标注属性相当的最先进结果，同时在不同ZSL框架中保持良好的泛化能力。

ABSTRACT

Zero-shot learning (ZSL) highly depends on a good semantic embedding to connect the seen and unseen classes. Recently, distributed word embeddings (DWE) pre-trained from large text corpus have become a popular choice to draw such a connection. Compared with human defined attributes, DWEs are more scalable and easier to obtain. However, they are designed to reflect semantic similarity rather than visual similarity and thus using them in ZSL often leads to inferior performance. To overcome this visual-semantic discrepancy, this work proposes an objective function to re-align the distributed word embeddings with visual information by learning a neural network to map it into a new representation called visually aligned word embedding (VAWE). Thus the neighbourhood structure of VAWEs becomes similar to that in the visual domain. Note that in this work we do not design a ZSL method that projects the visual features and semantic embeddings onto a shared space but just impose a requirement on the structure of the mapped word embeddings. This strategy allows the learned VAWE to generalize to various ZSL methods and visual features. As evaluated via four state-of-the-art ZSL methods on four benchmark datasets, the VAWE exhibit consistent performance improvement.

研究动机与目标

• 为解决零样本学习中的视觉-语义差异问题，其中分布式词嵌入（DWEs）捕捉语义相似性但不捕捉视觉相似性。
• 通过将DWEs与视觉特征空间对齐来提升零样本学习性能，而无需与视觉特征共享嵌入空间。
• 开发一种通用方法，增强多种ZSL方法，且不依赖于特定模型架构。
• 证明经视觉对齐重新嵌入的DWEs可实现与人工标注属性相当的性能。
• 验证该方法在不同视觉特征提取器和数据集上的鲁棒性与泛化能力。

提出的方法

• 训练一个神经网络，使用三元组损失将预训练的词嵌入（如word2vec）映射到新空间，强制语义相似的词在视觉空间中彼此接近。
• 使用视觉签名——如VGG-19或DeCAF等深层网络的平均池化特征——作为视觉类别表征的代理，以指导对齐。
• 构建由锚点、正例（语义相似）和负例（不相似）组成的三元组，其中正例在视觉空间中比负例更接近锚点。
• 通过端到端训练使用三元组损失学习映射函数，以最小化邻域结构中的视觉-语义差异。
• 通过在训练和推理过程中用VAWE替换标准词嵌入，将学习到的VAWE应用于任何ZSL方法。
• 通过在一种视觉特征类型（如DeCAF）上训练VAWE并在另一种（如VGG-19）上测试，评估泛化能力，表明对特征选择具有鲁棒性。

实验结果

研究问题

• RQ1 分布式词嵌入中的视觉-语义差异是否降低零样本学习性能？
• RQ2 通过从词嵌入到视觉对齐空间的有学习映射，是否能提升多种方法和数据集上的ZSL性能？
• RQ3 视觉特征的选择如何影响所学习的视觉对齐词嵌入的质量与泛化能力？
• RQ4 VAWE能否在零样本学习中实现与人工标注属性相当的性能？
• RQ5 VAWE方法是否在不同ZSL框架和视觉特征提取器之间具有泛化能力？

主要发现

• VAWE在所有四个基准数据集（aPY、AwA、CUB、SUN）和四种最先进ZSL方法上均提升了零样本学习性能。
• 在粗粒度数据集（aPY和AwA）上，VAWE实现了显著的性能提升，使用VGG-19特征时，ESZSL在AwA上的准确率达到76.16%。
• 性能增益在ConSE和ESZSL上最为显著，这两者直接学习视觉-语义映射，对嵌入质量最为敏感。
• VAWE优于所有非属性基ZSL方法，并在粗粒度数据集上与最佳属性基方法具有竞争力。
• VAWE在视觉特征提取器之间泛化良好：使用DeCAF或低级特征训练VAWE，即使在VGG-19特征上测试，仍能获得强性能。
• 该方法在24种实验设置中的22种中提升了性能，表明在多种配置下均具有一致且稳健的增益。