[论文解读] Referring Expression Comprehension: A Survey of Methods and Datasets

Yanyuan Qiao, Chaorui Deng+1 more|arXiv (Cornell University)|Jul 19, 2020

Multimodal Machine Learning Applications参考文献 70被引用 5

一句话总结

本综述全面概述了指代表达理解（REC）的研究进展，回顾了计算机视觉与自然语言处理领域中的最先进方法和数据集。该综述根据模态编码方式对REC方法进行分类——联合嵌入、模块化架构和基于图的模型，并在基准测试中评估其性能，突出强调了组合性推理作为未来关键方向，且在复杂、长推理查询上已取得有前景的结果。

ABSTRACT

Referring expression comprehension (REC) aims to localize a target object in an image described by a referring expression phrased in natural language. Different from the object detection task that queried object labels have been pre-defined, the REC problem only can observe the queries during the test. It thus more challenging than a conventional computer vision problem. This task has attracted a lot of attention from both computer vision and natural language processing community, and several lines of work have been proposed, from CNN-RNN model, modular network to complex graph-based model. In this survey, we first examine the state of the art by comparing modern approaches to the problem. We classify methods by their mechanism to encode the visual and textual modalities. In particular, we examine the common approach of joint embedding images and expressions to a common feature space. We also discuss modular architectures and graph-based models that interface with structured graph representation. In the second part of this survey, we review the datasets available for training and evaluating REC systems. We then group results according to the datasets, backbone models, settings so that they can be fairly compared. Finally, we discuss promising future directions for the field, in particular the compositional referring expression comprehension that requires longer reasoning chain to address.

研究动机与目标

• 系统性地回顾并分类视觉-语言理解中指代表达理解（REC）的现有方法。
• 分析REC模型的演进历程，包括CNN-RNN、模块化网络和基于图的架构。
• 在主要数据集上使用标准化主干网络和设置，评估并比较REC的性能。
• 识别关键挑战与未来研究方向，尤其关注需要长距离推理的组合性指代表达理解。
• 通过构建比较框架，将方法、数据集和基准结果组织起来，为研究人员提供统一参考。

提出的方法

• 根据视觉与文本模态编码策略对REC方法进行分类，包括将模态联合嵌入共享特征空间。
• 回顾将语言与视觉处理分解为专用组件以提升可解释性的模块化网络架构。
• 研究将语言与图像特征表示为结构化图以建模复杂关系的基于图的模型。
• 分析注意力机制与交叉注意力层在对齐语言表达与图像区域中的应用。
• 使用标准化评估协议和主干网络（如ResNet、Faster R-CNN）在不同数据集上比较性能。
• 评估架构选择对REC任务中零样本与少样本泛化能力的影响。

实验结果

研究问题

• RQ1 不同架构——联合嵌入、模块化和基于图的模型——在指代表达理解中的表现如何？
• RQ2 在模态交互与推理方面，最先进的REC模型的关键设计原则是什么？
• RQ3 现有数据集在复杂度上如何差异？其在评估组合性推理方面存在哪些局限性？
• RQ4 先进模型相较于经典CNN-RNN基线模型在性能上取得了多大提升？
• RQ5 未来REC研究中最具前景的方向是什么，尤其针对长推理与组合性查询？

主要发现

• 与标准联合嵌入模型相比，基于图的模型和模块化架构在复杂、组合性指代表达理解任务中表现更优。
• 联合嵌入方法在简单、简短的指代表达理解中依然有效，但在长距离、多跳推理查询上表现不佳。
• RefCOCO+、RefCOCO和RefCLEF等数据集在标注质量与语言复杂度上存在显著差异，影响了模型的泛化能力。
• 在标准评估协议下，最先进模型在RefCOCO+上的平均IoU超过80%，部分最优模型在特定划分上超过85%。
• 组合性指代表达理解仍是主要挑战，尤其在需要多步推理的查询上性能显著下降。
• 本综述识别出一种明确趋势：更结构化、更具推理感知的架构正在兴起，以应对端到端联合嵌入模型的局限性。