[论文解读] The More You Know: Using Knowledge Graphs for Image Classification

Kenneth Marino, Ruslan Salakhutdinov+1 more|arXiv (Cornell University)|Dec 14, 2016

Multimodal Machine Learning Applications参考文献 34被引用 25

一句话总结

本文提出图搜索神经网络（GSNN），一种新颖的端到端深度学习架构，通过利用结构化先验知识，高效地将大规模知识图谱整合到图像分类任务中。GSNN 通过在知识图谱中推理语义关系，提升了多标签图像分类的性能，在实现最先进结果的同时，通过基于注意力的传播分析实现了可解释的预测。

ABSTRACT

One characteristic that sets humans apart from modern learning-based computer vision algorithms is the ability to acquire knowledge about the world and use that knowledge to reason about the visual world. Humans can learn about the characteristics of objects and the relationships that occur between them to learn a large variety of visual concepts, often with few examples. This paper investigates the use of structured prior knowledge in the form of knowledge graphs and shows that using this knowledge improves performance on image classification. We build on recent work on end-to-end learning on graphs, introducing the Graph Search Neural Network as a way of efficiently incorporating large knowledge graphs into a vision classification pipeline. We show in a number of experiments that our method outperforms standard neural network baselines for multi-label classification.

研究动机与目标

• 通过将结构化世界知识整合到深度学习模型中，解决视觉识别中的长尾分布问题。
• 克服现有图神经网络在视觉任务中应用于大规模知识图谱时的计算限制。
• 实现端到端学习，通过知识图谱对视觉概念之间的语义关系进行推理。
• 通过追踪知识图谱中的信息流，提供可解释的图像分类结果。
• 证明噪声较大、现实世界中的知识图谱可被有效用于视觉识别。

提出的方法

• 提出图搜索神经网络（GSNN），一种门控图神经网络变体，专为视觉任务中在大规模知识图谱上实现高效推理而设计。
• 利用图像特征动态选择并标注相关子图，聚焦于与图像内容相关的节点和边。
• 采用一种传播机制，可区分不同类型的关系（例如‘穿着’、‘在……上’、‘来自’），以优化节点表示。
• 引入一种可微分的搜索机制，基于图像特征从知识图谱中选择关键节点和边，降低计算成本。
• 使用反向传播端到端训练整个系统，实现视觉特征与图推理的联合优化。
• 通过敏感性分析解释预测结果，计算输出类别相对于图中隐藏状态的梯度。

实验结果

研究问题

• RQ1 来自大规模知识图谱的结构化知识能否提升多标签图像分类的性能？
• RQ2 如何高效地将大规模知识图谱集成到视觉任务的深度学习流程中？
• RQ3 图神经网络能否通过追踪语义关系中的信息流，提供可解释的预测？
• RQ4 当知识图谱包含噪声或不完整关系时，模型表现如何？
• RQ5 哪些类型的视觉概念最受益于基于图的推理，原因是什么？

主要发现

• GSNN 在多标签图像分类任务中显著优于标准神经网络基线模型，尤其在罕见或长尾视觉概念上表现突出。
• 该模型通过利用知识图谱中视觉概念之间的语义关系（如‘穿着’或‘在……上’）提升了分类准确率。
• 敏感性分析表明，GSNN 正确识别出对预测具有影响力的图谱节点（例如，对‘长鼻小目’识别为‘trunk’，对‘人’识别为‘jeans’）。
• 当知识图谱缺少关键关系（如‘bus’到‘windshield’）时，模型出现失败案例，表明性能依赖于图谱的完整性。
• 模型对噪声知识图谱表现出鲁棒性，能有效过滤并利用相关子图进行推理。
• GSNN 通过突出显示对最终分类贡献最大的图谱节点和关系，实现了可解释的预测。