[论文解读] Referring Expression Object Segmentation with Caption-Aware Consistency

Yiwen Chen, Yi‐Hsuan Tsai+3 more|arXiv (Cornell University)|Oct 10, 2019

Multimodal Machine Learning Applications参考文献 27被引用 8

一句话总结

该论文提出了一种新颖的端到端框架，用于指代表达目标分割，通过字幕感知的一致性联合优化理解与生成。通过引入空间感知的动态滤波器，将语言知识迁移至视觉特征，并强制输入与生成的指代表达之间保持一致性，该方法在RefCOCO和RefCOCO+数据集上实现了最先进性能。

ABSTRACT

Referring expressions are natural language descriptions that identify a particular object within a scene and are widely used in our daily conversations. In this work, we focus on segmenting the object in an image specified by a referring expression. To this end, we propose an end-to-end trainable comprehension network that consists of the language and visual encoders to extract feature representations from both domains. We introduce the spatial-aware dynamic filters to transfer knowledge from text to image, and effectively capture the spatial information of the specified object. To better communicate between the language and visual modules, we employ a caption generation network that takes features shared across both domains as input, and improves both representations via a consistency that enforces the generated sentence to be similar to the given referring expression. We evaluate the proposed framework on two referring expression datasets and show that our method performs favorably against the state-of-the-art algorithms.

研究动机与目标

• 通过联合建模理解与生成任务，提升指代表达目标分割性能。
• 通过输入与生成指代表达之间的一致性损失，增强语言与视觉之间的跨模态特征学习。
• 设计空间感知的动态滤波器，利用空间定位引导将语言知识迁移至视觉特征。
• 实现端到端训练，提升定位精度与在复杂场景下的鲁棒性。

提出的方法

• 包含独立语言与视觉编码器的理解网络，用于提取模态特定的特征。
• 空间感知的动态滤波器，从文本特征生成卷积滤波器，以关注相关图像区域。
• 字幕生成网络，以共享特征作为输入，生成指代表达，以强制与输入保持一致性。
• 字幕感知一致性损失，最小化输入指代表达与生成句子之间的差异。
• 使用交叉熵损失与一致性损失进行端到端训练，联合优化分割与生成任务。
• 将空间坐标整合到特征图中，以提升动态滤波中的定位精度。

实验结果

研究问题

• RQ1 联合优化指代表达理解与生成是否能提升分割性能？
• RQ2 强制输入与生成指代表达之间的一致性如何影响特征表示质量？
• RQ3 空间感知动态滤波器是否比标准或非空间动态滤波器能更好地定位目标对象？
• RQ4 空间感知滤波器与字幕一致性各自对整体性能的贡献如何？

主要发现

• 所提方法在RefCOCO上分别取得58.90%与61.77%的掩码交并比（mIoU），优于最先进方法。
• 在RefCOCO+上，模型获得53.81% mIoU，展现出强大的跨数据集泛化能力。
• 消融实验表明，空间感知动态滤波器与字幕感知一致性均显著优于基线模型。
• 完整模型在RefCOCOg上实现46.95% mIoU，超越现有方法（包括MAttNet与DMN）。
• 定性结果表明，模型能基于涉及颜色、位置与动作的复杂描述准确分割目标对象。
• 即使在杂乱场景中，模型也能有效分割目标对象，例如在'elephant in back'示例中，背景混淆问题常见，但模型仍表现良好。