[论文解读] TPsgtR: Neural-Symbolic Tensor Product Scene-Graph-Triplet Representation for Image Captioning

Chiranjib Sur|arXiv (Cornell University)|Nov 22, 2019

Multimodal Machine Learning Applications参考文献 15被引用 10

一句话总结

本文提出 TPsgtR，一种新型神经符号张量积表示方法，通过编码场景图三元组（主语-谓语-宾语）中的位置与关系结构，提升图像字幕生成质量。通过利用张量积实现上下文向量与角色向量的正交组合，该方法生成更具结构性、可解释性及上下文准确性的字幕，在 MS COCO 数据集上的自动指标与定性多样性方面均优于先前模型。

ABSTRACT

Image captioning can be improved if the structure of the graphical representations can be formulated with conceptual positional binding. In this work, we have introduced a novel technique for caption generation using the neural-symbolic encoding of the scene-graphs, derived from regional visual information of the images and we call it Tensor Product Scene-Graph-Triplet Representation (TP$_{sgt}$R). While, most of the previous works concentrated on identification of the object features in images, we introduce a neuro-symbolic embedding that can embed identified relationships among different regions of the image into concrete forms, instead of relying on the model to compose for any/all combinations. These neural symbolic representation helps in better definition of the neural symbolic space for neuro-symbolic attention and can be transformed to better captions. With this approach, we introduced two novel architectures (TP$_{sgt}$R-TDBU and TP$_{sgt}$R-sTDBU) for comparison and experiment result demonstrates that our approaches outperformed the other models, and generated captions are more comprehensive and natural.

研究动机与目标

• 通过整合对象关系与空间位置的结构化、神经符号表示，提升图像字幕生成质量。
• 克服端到端学习模型依赖共现统计且缺乏显式结构推理的局限性。
• 开发一种可微分、组合式的表示方法，同时编码语义内容与关系结构（如带空间角色的主语-谓语-宾语）。
• 证明结构化、符号感知的表示可生成更丰富描述、语法正确且多样化的字幕。
• 验证张量积表示在建模视觉字幕中关系与位置信息方面的有效性。

提出的方法

• 该方法提出张量积场景图三元组表示（TPsgtR），通过张量积操作将对象特征（上下文）与空间/关系角色（角色向量）组合。
• TPsgtR 利用正交组合将主语-谓语-宾语三元组与位置绑定嵌入，保持连续向量空间中的结构关系。
• 提出两种架构：TPsgtR-TDBU（自顶向下-自底向上）与 TPsgtR-sTDBU（语义自顶向下-自底向上），将 TPsgtR 集成至类似 Transformer 的解码器并引入注意力机制。
• 模型利用预训练的场景图生成器（如 [14] 中所述）提取 SPO 三元组，但直接通过张量积组合，而非依赖模型学习的原始特征注意力。
• 张量积操作确保表示对排列不变，并支持对未见关系的组合泛化。
• 最终通过带有神经符号注意力的循环解码器生成字幕，其中 TPsgtR 向量引导上下文感知的词预测。

实验结果

研究问题

• RQ1 神经符号张量积表示能否有效编码图像场景图中的关系与位置结构，以提升字幕质量？
• RQ2 通过张量积实现显式结构组合，是否相比端到端学习的注意力机制带来更好的泛化与性能？
• RQ3 与传统视觉特征融合方法相比，TPsgtR 表示在字幕质量与多样性方面表现如何？
• RQ4 包含语义角色信息（如主语、宾语）在多大程度上提升了字幕的连贯性与语法正确性？
• RQ5 当场景图生成器在不同数据分布上训练时，TPsgtR 是否能在跨数据集场景中实现泛化？

主要发现

• TPsgtR-sTDBU 架构在 MS COCO 测试集上取得 34.9% 的 BLEU-4 得分，尽管平均区域提议数仅为 8–9 个（[4] 中为 36 个），仍优于多个最先进模型。
• TPsgtR-sTDBU 模型取得 0.554 的 CIDEr-D 得分，表明其在语义内容与多样性方面与人工标注字幕高度一致。
• 图 4 的定性分析显示，TPsgtR-sTDBU 生成的字幕比基线模型更具描述性、语法正确且上下文更丰富。
• 该模型在性能上优于 TPsgtR-TDBU，证实语义感知的自顶向下注意力可显著提升字幕质量。
• 尽管使用在非 MS COCO 数据上训练的场景图生成器（检测准确率为 28%），模型仍取得具有竞争力的结果，表明对特征来源分布偏移具有鲁棒性。
• 结果表明，结构化、符号感知的表示（如 TPsgtR）在捕捉长距离依赖与关系推理方面，优于纯端到端学习的表示。