[论文解读] Segmentation from Natural Language Expressions

Ronghang Hu, Marcus Rohrbach+1 more|arXiv (Cornell University)|Mar 20, 2016

Multimodal Machine Learning Applications参考文献 25被引用 28

一句话总结

本文提出了一种端到端可训练的循环神经网络与卷积神经网络结合的模型，用于通过自然语言表达进行像素级图像分割。该模型使用LSTM对语言描述进行编码，使用全卷积网络生成空间响应图，并通过上采样生成精确的分割掩码，在基准数据集上的表现显著优于先前方法。

ABSTRACT

In this paper we approach the novel problem of segmenting an image based on a natural language expression. This is different from traditional semantic segmentation over a predefined set of semantic classes, as e.g., the phrase "two men sitting on the right bench" requires segmenting only the two people on the right bench and no one standing or sitting on another bench. Previous approaches suitable for this task were limited to a fixed set of categories and/or rectangular regions. To produce pixelwise segmentation for the language expression, we propose an end-to-end trainable recurrent and convolutional network model that jointly learns to process visual and linguistic information. In our model, a recurrent LSTM network is used to encode the referential expression into a vector representation, and a fully convolutional network is used to a extract a spatial feature map from the image and output a spatial response map for the target object. We demonstrate on a benchmark dataset that our model can produce quality segmentation output from the natural language expression, and outperforms baseline methods by a large margin.

研究动机与目标

• 为解决基于自然语言表达描述的图像区域生成像素级分割掩码的挑战，这些描述超越了固定物体类别。
• 实现对涉及属性、空间关系以及实体间交互的复杂指代表达的精确分割。
• 开发一种方法，联合处理视觉与语言输入，实现端到端训练与推理。
• 超越依赖边界框或固定类别分割的现有方法。
• 支持需要细粒度视觉定位的应用，如人机交互与交互式图像编辑。

提出的方法

• 使用LSTM网络将输入的自然语言表达编码为固定长度的向量表示。
• 使用全卷积网络从输入图像中提取空间特征图。
• 通过全卷积方式在多层分类器网络中融合编码后的语言向量与图像特征图，生成粗粒度响应图。
• 通过转置卷积对粗粒度响应图进行上采样，生成像素级分割掩码。
• 使用标准反向传播算法，基于真实分割掩码的监督信号，对整个模型进行端到端训练。
• 该方法使用相同架构同时处理物体区域（例如“穿蓝色外套的人”）和物质区域（例如“桥上方的天空”）。

实验结果

研究问题

• RQ1 深度学习模型能否联合处理视觉与语言输入，从自然语言表达中生成准确的像素级分割？
• RQ2 该模型在涉及属性、空间关系和多个实体的复杂表达上的表现如何？
• RQ3 该模型能否在不改变架构的情况下泛化到物体区域和物质区域？
• RQ4 与基于边界框提议或固定类别分割的基线方法相比，该模型在准确率和推理速度上表现如何？
• RQ5 当表达存在歧义或目标区域具有复杂边界时，该模型的失败模式是什么？

主要发现

• 在ReferIt基准数据集上，所提模型在精度和平均交并比（IoU）方面均显著优于所有基线方法。
• 高分辨率版本的模型性能明显优于低分辨率变体，证明了空间细节的重要性。
• 该模型对物体区域（例如“左边的鸟”）和物质区域（例如“桥上方的天空”）均能生成合理的分割结果。
• 失败案例显示，尽管响应图通常能覆盖正确区域，但边界精度可能受限，尤其对于不规则或非网格对齐的物体。
• 与基于提议的方法（如SCRC或MCG分类）相比，该模型在推理速度上显著更快，单张图像的推理时间仅为0.325秒，而基线方法需3至9秒。
• 即使在涉及多个实体或复杂空间关系的挑战性表达上，该模型仍能实现高性能，如定性示例所示。