[论文解读] Semantic Graph-enhanced Visual Network for Zero-shot Learning

Yang Hu, Guihua Wen+6 more|arXiv (Cornell University)|Jun 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 62被引用 4

一句话总结

本文提出了一种基于图的视觉-语义纠缠网络，通过图卷积网络（GCN）将卷积神经网络（CNN）提取的视觉特征与知识图谱相结合，以建模语义关系，并使用属性词向量作为监督信号。该方法通过增强视觉嵌入中的语义关联性，在AwA2、CUB和SUN数据集上提升了零样本学习的性能。

ABSTRACT

Zero-shot learning uses semantic attributes to connect the search space of unseen objects. In recent years, although the deep convolutional network brings powerful visual modeling capabilities to the ZSL task, its visual features have severe pattern inertia and lack of representation of semantic relationships, which leads to severe bias and ambiguity. In response to this, we propose the Graph-based Visual-Semantic Entanglement Network to conduct graph modeling of visual features, which is mapped to semantic attributes by using a knowledge graph, it contains several novel designs: 1. it establishes a multi-path entangled network with the convolutional neural network (CNN) and the graph convolutional network (GCN), which input the visual features from CNN to GCN to model the implicit semantic relations, then GCN feedback the graph modeled information to CNN features; 2. it uses attribute word vectors as the target for the graph semantic modeling of GCN, which forms a self-consistent regression for graph modeling and supervise GCN to learn more personalized attribute relations; 3. it fuses and supplements the hierarchical visual-semantic features refined by graph modeling into visual embedding. By promoting the semantic linkage modeling of visual features, our method outperforms state-of-the-art approaches on multiple representative ZSL datasets: AwA2, CUB, and SUN.

研究动机与目标

• 解决零样本学习（ZSL）中所用深度视觉特征存在的严重模式惯性及语义关系建模不足问题。
• 通过知识图谱显式建模语义关系，减少视觉特征表示中的偏差与模糊性。
• 通过图建模精炼的分层视觉-语义特征融合，提升零样本泛化能力。
• 利用词向量建立视觉特征与语义属性之间的自洽回归框架。

提出的方法

• 设计一种多路径纠缠网络，将用于视觉特征提取的CNN与用于建模视觉特征间隐式语义关系的GCN连接。
• 将CNN处理后的视觉特征输入GCN，以学习编码语义关系的图结构表示。
• 使用属性词向量作为目标信号监督GCN训练，实现个性化语义关系学习的自洽回归。
• 将GCN中提取并优化的分层视觉-语义特征融合回CNN特征，生成更丰富的视觉嵌入。
• 构建一个将视觉特征与语义属性关联的知识图谱，实现结构化的语义建模。
• 通过联合损失函数端到端训练模型，同时优化视觉特征质量与语义对齐效果。

实验结果

研究问题

• RQ1 基于图的视觉特征建模能否提升零样本学习中的语义关系表征？
• RQ2 使用属性词向量作为监督信号，如何增强GCN对语义关系的学习能力？
• RQ3 将CNN与GCN特征纠缠在多大程度上能减少视觉特征中的模式惯性？
• RQ4 所提出方法在标准基准上是否优于当前最先进方法，实现更好的零样本泛化性能？

主要发现

• 所提方法在AwA2数据集上优于当前最先进方法，实现了更高的零样本分类准确率。
• 在CUB数据集上，模型通过更好地捕捉细粒度语义关系，展现出更强的泛化能力。
• 在SUN数据集上，该方法实现了更优性能，表明其在多样化视觉-语义空间中的鲁棒性。
• GCN与CNN的融合及属性监督的引入，使视觉嵌入更具个性化与语义一致性。
• 消融实验证实，多路径纠缠、属性监督与特征融合各组件均对性能提升有显著贡献。
• 通过图结构知识显式建模语义关系，模型有效降低了特征的模糊性与偏差。