[论文解读] Situation Recognition with Graph Neural Networks

Ruiyu Li, Makarand Tapaswi+4 more|arXiv (Cornell University)|Aug 14, 2017

Multimodal Machine Learning Applications参考文献 40被引用 23

一句话总结

本文提出了一种基于图神经网络（GNN）的场景识别模型，通过建模角色之间的依赖关系，联合预测图像中的动词及其语义角色-名词对。通过在角色的图结构上传播信息，该方法在imSitu数据集上的帧级准确率相比之前的工作提升了4.5%，证明了显式角色交互的有效性。

ABSTRACT

We address the problem of recognizing situations in images. Given an image, the task is to predict the most salient verb (action), and fill its semantic roles such as who is performing the action, what is the source and target of the action, etc. Different verbs have different roles (e.g. attacking has weapon), and each role can take on many possible values (nouns). We propose a model based on Graph Neural Networks that allows us to efficiently capture joint dependencies between roles using neural networks defined on a graph. Experiments with different graph connectivities show that our approach that propagates information between roles significantly outperforms existing work, as well as multiple baselines. We obtain roughly 3-5% improvement over previous work in predicting the full situation. We also provide a thorough qualitative analysis of our model and influence of different roles in the verbs.

研究动机与目标

• 通过联合预测动词及其语义角色-名词对，提升图像中场景识别的性能。
• 使用神经图结构建模语义角色（如施事、工具、受事）之间的依赖关系。
• 解决视觉场景结构化预测中数据稀疏性和输出空间庞大的挑战。
• 通过显式捕捉角色间交互关系，超越现有的CRF和RNN方法。
• 通过可视化角色间消息传播过程，提升模型的可解释性。

提出的方法

• 该模型使用图神经网络（GNN）将动词及其角色表示为图中的节点，边用于编码潜在的依赖关系。
• 通过式（3）定义的循环消息传递机制在节点间传播消息，使每个角色能够基于邻居信息更新其表示。
• 探索不同的图连接结构（如全连接、稀疏连接），以确定最优的角色交互模式。
• 使用卷积神经网络主干网络提取的特征，通过交叉熵损失端到端训练GNN，以预测动词和角色-名词对。
• 通过学习的消息传播矩阵捕捉从一个角色到另一个角色的消息重要性，并可视化以分析角色的影响。
• 模型使用张量组合函数在角色间共享参数，以在数据稀疏条件下提升泛化能力。

实验结果

研究问题

• RQ1 显式建模语义角色之间的依赖关系是否能提升场景识别性能？
• RQ2 不同的图连接模式如何影响基于GNN的场景识别性能？
• RQ3 与独立预测或CRF基线模型相比，角色交互在多大程度上提升了预测的一致性？
• RQ4 学习到的消息传播模式在多大程度上反映了不同动词下角色的语义重要性？
• RQ5 尽管存在数据稀疏性，该模型能否泛化到未见的动词-角色组合？

主要发现

• 所提出的GNN模型在imSitu基准测试中，帧级准确率（value-all）相比之前最先进方法绝对提升了4.5%。
• 全连接（FC）图结构优于其他连接模式，表明所有角色均能从相互的信息交换中受益。
• 消息传播的可视化显示，对于动词'fastening'，'tool'角色具有高度影响力；对于'jumping'，'obstacle'角色具有高度影响力。
• 即使预测的动词不正确，模型通常仍能正确预测角色-名词对，表明其在角色推理方面具有鲁棒性。
• 失败案例通常源于类别不平衡（如'outdoor'在'place'上占主导）或模糊的真实标签标注，表明数据质量和标注质量是关键因素。
• 模型能够推断出合理但未标注的情境（如用'camping'代替'sitting'），表明其在训练标注之外具有泛化能力。