[论文解读] Natural Language Guided Visual Relationship Detection

Wentong Liao, Shuai Lin+2 more|arXiv (Cornell University)|Nov 16, 2017

Multimodal Machine Learning Applications参考文献 34被引用 23

一句话总结

本文提出了一种基于自然语言引导的视觉关系检测框架，利用双向循环神经网络（BRNN）通过语言先验预测物体对之间的语义关系。通过在语言嵌入的语义关系中建模谓词预测，该方法在零样本泛化方面实现了最先进性能，尤其在VRD零样本测试集上，将召回率从76.42%提升至89.79%。

ABSTRACT

Reasoning about the relationships between object pairs in images is a crucial task for holistic scene understanding. Most of the existing works treat this task as a pure visual classification task: each type of relationship or phrase is classified as a relation category based on the extracted visual features. However, each kind of relationships has a wide variety of object combination and each pair of objects has diverse interactions. Obtaining sufficient training samples for all possible relationship categories is difficult and expensive. In this work, we propose a natural language guided framework to tackle this problem. We propose to use a generic bi-directional recurrent neural network to predict the semantic connection between the participating objects in the relationship from the aspect of natural language. The proposed simple method achieves the state-of-the-art on the Visual Relationship Detection (VRD) and Visual Genome datasets, especially when predicting unseen relationships (e.g. recall improved from 76.42% to 89.79% on VRD zero-shot testing set).

研究动机与目标

• 通过利用自然语言中的语义先验，解决视觉关系检测中的长尾问题。
• 通过建模物体类别之间的语义关联，提升对未见关系的泛化能力。
• 通过整合基于语言的推理，克服纯视觉分类和独立物体-谓词检测的局限性。
• 通过将频繁关系的知识迁移至稀有关系，仅使用少量训练数据即可检测数千种关系类型。

提出的方法

• 训练双向循环神经网络（BRNN）以基于物体的视觉特征和语言嵌入，预测两个检测到的物体之间的谓词。
• 该模型使用词嵌入来编码物体类别之间的语义关系，利用相似物体类别（如“马”和“象”）具有相似关系模式的事实。
• 将Faster R-CNN检测器提取的视觉特征与物体类别嵌入以及空间信息（如边界框坐标）结合，作为BRNN的输入。
• 采用SGD和梯度裁剪进行端到端训练，采用多任务设置，联合优化物体检测与谓词预测。
• 通过在语言空间中利用语义相似性，将已知关系泛化至未见关系，实现零样本推理。
• 在Visual Genome和VRD数据集上评估模型，通过在已见和未见关系上的召回率与精确率衡量性能。

实验结果

研究问题

• RQ1 自然语言先验能否提升视觉关系检测中的零样本泛化能力？
• RQ2 物体类别之间的语义关系在多大程度上可被有效利用以推断稀有或未见的关系？
• RQ3 通过语言嵌入的BRNN建模谓词是否在长尾数据集上优于传统基于分类的方法？
• RQ4 视觉-语义对齐在多大程度上能提升对复杂、依赖上下文的关系（如“骑”与“坐”在同一个物体上）的检测能力？

主要发现

• 所提方法在Visual Genome和VRD数据集上均实现了最先进性能，尤其在零样本学习方面表现突出。
• 在VRD零样本测试集上，召回率从76.42%提升至89.79%，表明对未见关系具有强大的泛化能力。
• 模型在各类谓词分类中表现优异，顶级谓词如“穿着”（99.59%）和“在……上”（99.39%）在Rec@5下接近完美得分。
• 通过利用词嵌入中的语义相似性，框架有效实现了从频繁关系到稀有关系的知识迁移。
• 定性结果表明，模型能基于物体类别和上下文正确推断“坐”与“骑”等关系，避免错误类比。
• 该方法对物体检测器的误差具有鲁棒性，大多数漏检归因于检测性能而非谓词预测失败。