[论文解读] OBJ2TEXT: Generating Visually Descriptive Language from Object Layouts

Xuwang Yin, Vicente Ordóñez|arXiv (Cornell University)|Jul 22, 2017

Multimodal Machine Learning Applications参考文献 35被引用 11

一句话总结

OBJ2TEXT 提出了一种基于序列到序列的 LSTM 模型，该模型从对象布局（由对象类别和边界框位置定义）生成描述性的自然语言标题，而无需依赖原始像素数据。尽管将布局编码为序列，该模型仍能有效捕捉空间关系和对象数量，在与 CNN-RNN 图像标题生成模型结合时，CIDEr 得分为 0.950，比基线模型高出 0.087 分。

ABSTRACT

Generating captions for images is a task that has recently received considerable attention. In this work we focus on caption generation for abstract scenes, or object layouts where the only information provided is a set of objects and their locations. We propose OBJ2TEXT, a sequence-to-sequence model that encodes a set of objects and their locations as an input sequence using an LSTM network, and decodes this representation using an LSTM language model. We show that our model, despite encoding object layouts as a sequence, can represent spatial relationships between objects, and generate descriptions that are globally coherent and semantically relevant. We test our approach in a task of object-layout captioning by using only object annotations as inputs. We additionally show that our model, combined with a state-of-the-art object detector, improves an image captioning model from 0.863 to 0.950 (CIDEr score) in the test benchmark of the standard MS-COCO Captioning task.

研究动机与目标

• 开发一种仅使用对象类别和空间边界框作为输入，从对象布局生成语义连贯且全局一致的标题的模型。
• 探究在序列到序列框架中，空间关系和对象数量是否能被有效编码并用于自然语言生成。
• 在缺乏颜色、纹理和背景等视觉特征的情况下，评估此类模型的性能，重点关注空间信息和数量信息的作用。
• 证明将对象布局表征与 CNN 的深层视觉特征相结合，可提升图像标题生成性能。

提出的方法

• 该模型使用双流 LSTM 编码器，将对象布局作为 (类别, 位置) 对的序列进行处理，以捕捉空间和语义关系。
• 对象位置以归一化的边界框坐标 (x, y, w, h) 编码，对象类别则嵌入为词向量。
• 解码器为标准的 LSTM 语言模型，以逐个 token 的方式生成描述性标题，条件依赖于编码后的布局表征。
• 该模型在 MS-COCO 数据集上进行端到端训练，使用真实对象标注和对应标题作为监督信号。
• 通过移除对象位置或数量信息，开展消融研究，以隔离其对标题质量的贡献。
• 将该模型与最先进的目标检测器（YOLO）和 CNN-RNN 标题生成模型结合，以提升图像标题生成性能。

实验结果

研究问题

• RQ1 序列到序列模型能否有效从对象布局的序列编码中学习空间关系和对象数量？
• RQ2 当仅提供对象类别和位置信息时，缺乏像素级视觉特征（如颜色、纹理）是否显著降低标题质量？
• RQ3 对象数量和空间位置在多大程度上促进生成标题的语义连贯性和准确性？
• RQ4 将对象布局表征与 CNN 的深层视觉特征结合，能否在性能上超越标准模型？

主要发现

• 当与 CNN-RNN 模型结合时，该模型在 MS-COCO 测试集上获得 0.950 的 CIDEr 得分，比基线 CNN-RNN 模型（0.863）高出 0.087 分。
• 消融研究显示，对象数量和空间位置均显著贡献于标题质量，移除任一因素均导致性能下降。
• 人工评估确认，在所有评估者意见一致的情况下，联合模型在 65.3% 的案例中优于基线 CNN-RNN 模型。
• 该模型即使在无法访问颜色、纹理或背景信息的情况下，仍能生成全局连贯且语义相关的描述，证明空间和类别数据已足够。
• 定性分析表明，联合模型生成的标题比任一组件单独生成的标题更准确、更全面，充分结合了互补优势。
• OBJ2TEXT-YOLO（仅使用 YOLO 提供的对象布局）在缺乏图像上下文的情况下仍能生成合理描述，证明仅靠布局信息即可支持有意义的标题生成。