[论文解读] ReFormer: The Relational Transformer for Image Captioning

Xuewen Yang, Yingru Liu+1 more|arXiv (Cornell University)|Jul 29, 2021

Multimodal Machine Learning Applications参考文献 45被引用 8

一句话总结

ReFormer 提出了一种统一的基于 Transformer 的架构，通过在编码器中直接嵌入关系信息并引入以关系为中心的损失函数，联合优化图像字幕生成与场景图生成。通过在生成字幕的同时让编码器预测物体间关系，ReFormer 在图像字幕生成（CIDEr: 131.2）和场景图生成任务上均实现了最先进性能，显著提升了准确率与模型可解释性。

ABSTRACT

Image captioning is shown to be able to achieve a better performance by using scene graphs to represent the relations of objects in the image. The current captioning encoders generally use a Graph Convolutional Net (GCN) to represent the relation information and merge it with the object region features via concatenation or convolution to get the final input for sentence decoding. However, the GCN-based encoders in the existing methods are less effective for captioning due to two reasons. First, using the image captioning as the objective (i.e., Maximum Likelihood Estimation) rather than a relation-centric loss cannot fully explore the potential of the encoder. Second, using a pre-trained model instead of the encoder itself to extract the relationships is not flexible and cannot contribute to the explainability of the model. To improve the quality of image captioning, we propose a novel architecture ReFormer -- a RElational transFORMER to generate features with relation information embedded and to explicitly express the pair-wise relationships between objects in the image. ReFormer incorporates the objective of scene graph generation with that of image captioning using one modified Transformer model. This design allows ReFormer to generate not only better image captions with the bene-fit of extracting strong relational image features, but also scene graphs to explicitly describe the pair-wise relation-ships. Experiments on publicly available datasets show that our model significantly outperforms state-of-the-art methods on image captioning and scene graph generation

研究动机与目标

• 解决现有图像字幕模型因物体区域与关系预测之间存在错位，而难以有效学习和利用物体间关系的问题。
• 克服当前模型依赖预训练关系提取器导致可解释性不足的问题，实现关系学习的端到端优化。
• 通过在编码器训练中引入场景图生成目标，提升字幕质量，确保关系特征被显式学习并嵌入模型。
• 使模型能够同时生成准确的字幕与可解释的场景图，增强模型透明度与语言表达力。
• 证明联合优化字幕生成与场景图生成优于分步或独立训练的方法。

提出的方法

• 提出一种新型 ReFormer 架构，采用单个经过修改的 Transformer 编码器，联合学习图像字幕生成与场景图生成。
• 引入一种分阶段训练策略：首先使用以关系为中心的损失函数（$\mathcal{L}_r$）在场景图生成任务上预训练编码器，随后使用最大似然估计（$\mathcal{L}_c$）在图像字幕任务上微调。
• 通过在 Transformer 的自注意力机制中建模成对物体之间的交互，将关系信息直接嵌入视觉特征。
• 采用多头注意力机制，同时捕捉局部物体特征与全局关系上下文，使模型能够推理物体间的关系。
• 设计双头解码器头：一个用于生成自然语言字幕，另一个用于预测场景图中的主语-谓语-宾语三元组。
• 应用对比学习损失，对齐物体对的视觉表征与其预测关系，提升泛化能力与鲁棒性。

Figure 1. A scene graph containing entities, such as man , hair or racket , that are localized in the image with bounding boxes and the relationships between those entities, such as with , wearing and holding .

实验结果

研究问题

• RQ1 与独立训练相比，联合优化图像字幕生成与场景图生成是否能提升生成字幕的质量？
• RQ2 在编码器训练中引入以关系为中心的损失，是否能提升图像特征中关系表征的准确率与可解释性？
• RQ3 统一的 Transformer 架构能否在不降低性能的前提下，有效平衡字幕生成与场景图生成的双重需求？
• RQ4 模型生成显式场景图的能力在多大程度上增强了字幕的可解释性与语言丰富度？
• RQ5 ReFormer 在图像字幕生成与场景图生成的基准测试中，相较于最先进模型表现如何？

主要发现

• 在 COCO 数据集上，ReFormer 的 CIDEr 得分为 131.2，显著优于现有最先进模型在图像字幕生成任务上的表现。
• 在 Visual Genome 数据集上，ReFormer 在全部三项场景图评估协议中均达到最先进水平：SGGen（25.4 R@20）、SGCls（36.6 R@20）与 PredCls（60.5 R@20）。
• 消融实验表明，若移除以关系为中心的损失函数（$\mathcal{L}_r$），CIDEr 得分将从 131.2 降至 128.9，证明其在提升字幕质量中的关键作用。
• 该模型生成的字幕更加准确且细节丰富，包含明确的关系内容，例如 'a man is holding a racket'，且与生成的场景图一致。
• 定性结果表明，ReFormer 生成的场景图提供了额外的可解释性，揭示了仅从字幕中无法推断出的物体属性与交互关系。
• 分阶段训练策略有效实现了从场景图生成到字幕生成的关系知识迁移，使编码器能够学习更具语义基础的表征。

(a) Two-encoder captioning model.