[论文解读] Natural Language Object Retrieval

Ronghang Hu, Huazhe Xu+4 more|arXiv (Cornell University)|Nov 13, 2015

Multimodal Machine Learning Applications参考文献 32被引用 26

一句话总结

本文提出空间上下文循环卷积神经网络（SCRC），一种循环神经网络模型，通过整合局部视觉特征、空间配置和全局场景上下文，利用文本查询对图像中的候选目标区域进行评分。该方法通过端到端训练以及从图像字幕数据集迁移知识，在自然语言目标检索基准上实现了最先进性能。

ABSTRACT

In this paper, we address the task of natural language object retrieval, to localize a target object within a given image based on a natural language query of the object. Natural language object retrieval differs from text-based image retrieval task as it involves spatial information about objects within the scene and global scene context. To address this issue, we propose a novel Spatial Context Recurrent ConvNet (SCRC) model as scoring function on candidate boxes for object retrieval, integrating spatial configurations and global scene-level contextual information into the network. Our model processes query text, local image descriptors, spatial configurations and global context features through a recurrent network, outputs the probability of the query text conditioned on each candidate box as a score for the box, and can transfer visual-linguistic knowledge from image captioning domain to our task. Experimental results demonstrate that our method effectively utilizes both local and global information, outperforming previous baseline methods significantly on different datasets and scenarios, and can exploit large scale vision and language datasets for knowledge transfer.

研究动机与目标

• 解决使用包含属性、空间关系和动作的自然语言查询定位图像中目标的挑战。
• 通过联合建模局部目标特征、空间配置和全局场景上下文，提升检索性能。
• 通过从图像字幕任务迁移视觉-语言知识，缓解目标级别标注数据集中的数据稀缺问题。
• 实现评分函数的端到端训练，联合适应视觉和语言表示。

提出的方法

• SCRC模型采用两层LSTM架构，第一层处理嵌入后的文本查询，第二层处理候选目标区域的视觉特征。
• 对每个候选边界框，使用CNN提取局部图像描述符，同时通过另一CNN对整幅图像捕获全局场景上下文。
• 空间配置通过候选目标与其他目标或场景元素之间的相对坐标进行编码。
• 模型在图像字幕数据集（如MSCOCO）上进行预训练，并在自然语言目标检索数据上微调，以实现视觉-语言知识的迁移。
• 每个候选框的最终得分计算为在视觉和上下文特征条件下查询的概率，支持端到端反向传播。
• 该方法支持迁移学习，即使在目标级别标注数据有限的情况下也能提升性能。

实验结果

研究问题

• RQ1 整合空间配置和全局场景上下文是否能提高自然语言目标检索的准确性？
• RQ2 从图像字幕任务向自然语言目标检索任务迁移知识的效率如何？
• RQ3 端到端可训练的循环评分函数是否在该检索设置中优于词袋基线方法？
• RQ4 该模型在多样化查询类型（包括属性、动作和空间关系）上的泛化能力如何？
• RQ5 该模型在模糊或复杂查询上的表现如何？其失败模式是什么？

主要发现

• SCRC模型在ReferIt和VQA等多个数据集上显著优于基线方法，通过有效结合局部、空间和全局特征。
• 使用循环网络支持端到端训练和视觉与语言表示的联合优化，提升了检索准确性。
• 通过预训练实现从图像字幕任务的知识迁移，带来显著性能提升，尤其在目标级别检索数据有限时。
• 在使用EdgeBox提议的情况下，SCRC在ReferIt数据集上超过80%的测试样本达到IoU > 0.5，表现出强大的定位准确性。
• 失败案例通常源于模糊查询或错误标注，表明当标注清晰时，模型对语言复杂性具有鲁棒性。
• 该模型在“物质”区域（如天空、草地）和同一图像中的多个目标上泛化良好，显示出广泛适用性。