[论文解读] Neural Message Passing on Hybrid Spatio-Temporal Visual and Symbolic Graphs for Video Understanding

Effrosyni Mavroudi, Benjamı́n Béjar+1 more|arXiv (Cornell University)|May 17, 2019

Human Pose and Action Recognition参考文献 43被引用 7

一句话总结

该论文提出了一种在混合时空视觉与符号图上运行的神经消息传递框架，用于联合建模视觉交互与语义标签关系，以实现多标签视频理解。通过将视觉节点（物体、角色）与符号标签节点结合，并使用类型条件的消息传递、软分配和符号推理，该方法仅使用原始RGB帧就在时间子活动识别和多标签动作定位任务上达到了最先进性能。

ABSTRACT

Many problems in video understanding require labeling multiple activities occurring concurrently in different parts of a video, including the objects and actors participating in such activities. However, state-of-the-art methods in computer vision focus primarily on tasks such as action classification, action detection, or action segmentation, where typically only one action label needs to be predicted. In this work, we propose a generic approach to classifying one or more nodes of a spatio-temporal graph grounded on spatially localized semantic entities in a video, such as actors and objects. In particular, we combine an attributed spatio-temporal visual graph, which captures visual context and interactions, with an attributed symbolic graph grounded on the semantic label space, which captures relationships between multiple labels. We further propose a neural message passing framework for jointly refining the representations of the nodes and edges of the hybrid visual-symbolic graph. Our framework features a) node-type and edge-type conditioned filters and adaptive graph connectivity, b) a soft-assignment module for connecting visual nodes to symbolic nodes and vice versa, c) a symbolic graph reasoning module that enforces semantic coherence and d) a pooling module for aggregating the refined node and edge representations for downstream classification tasks. We demonstrate the generality of our approach on a variety of tasks, such as temporal subactivity classification and object affordance classification on the CAD-120 dataset and multilabel temporal action localization on the large scale Charades dataset, where we outperform existing deep learning approaches, using only raw RGB frames.

研究动机与目标

• 解决现有视频理解方法仅关注单动作预测的局限性，而现实世界视频中涉及多个并发活动。
• 在统一图结构中建模视觉实体（如角色、物体）与语义标签（如动作）之间的复杂时空关系。
• 通过视觉与符号图之间的联合表示学习，提升多标签视频分类与定位性能。
• 开发一种能根据节点与边类型自适应调整的消息传递机制，同时保持动态图连接性。

提出的方法

• 该框架构建了一个混合时空图，结合了带属性的视觉图（节点：物体/角色，边：交互）与带属性的符号图（节点：动作标签，边：语义关系）。
• 采用基于节点类型与边类型的条件消息传递滤波器，根据其语义与结构角色细化节点与边的表示。
• 一个软分配模块实现了视觉节点与符号节点之间的双向消息传递，支持跨模态注意力与对齐。
• 一个符号图推理模块通过在标签节点间传播约束来强制语义一致性，防止预测不一致。
• 一种自适应图连接机制根据学习到的注意力动态调整边权重，提升对噪声或稀疏交互的鲁棒性。
• 一个池化模块聚合优化后的节点与边表示，用于端到端的下游任务分类，如动作定位与子活动分类。

实验结果

研究问题

• RQ1 联合建模视觉与符号图是否能超越单任务或单标签方法，在多标签视频理解中实现性能提升？
• RQ2 使用类型条件滤波器的神经消息传递在捕捉视频中视觉与语义关系方面有多高效？
• RQ3 视觉与符号节点之间的软分配在多大程度上增强了跨模态表示学习？
• RQ4 符号图推理能否提升多标签视频任务中的语义一致性和减少预测不一致性？
• RQ5 该框架是否能在无需额外监督的情况下，泛化至多样化的视频理解任务，仅依赖RGB帧？

主要发现

• 所提方法在仅使用原始RGB帧的情况下，于CAD-120数据集的时间子活动分类任务上达到最先进性能。
• 在大规模Charades数据集上的多标签时间动作定位任务中，优于现有深度学习方法。
• 符号图推理的整合显著提升了多个动作标签之间的预测一致性和语义一致性。
• 软分配模块实现了有效的跨模态对齐，增强了模型将视觉实体与相关语义动作关联的能力。
• 自适应图连接机制在消息传递过程中提升了对稀疏连接或噪声视觉交互的鲁棒性。
• 池化模块有效聚合了优化后的表示，使模型在复杂、多活动的视频场景中仍能实现精确分类。