[论文解读] Visual Semantic Role Labeling

Saurabh Gupta, Jitendra Malik|arXiv (Cornell University)|May 17, 2015

Human Pose and Action Recognition参考文献 4被引用 330

一句话总结

本文提出了视觉语义角色标注（VSRL），这是一种新型任务，通过在图像中定位语义角色（如施事者、工具、受事者）中的参与者及其相关对象，将动作识别扩展至细粒度动作理解。作者构建了一个包含16,000个个体实例的新数据集，覆盖10,000张COCO图像，涵盖26种动作类别，并提供了详细的标注，同时提出了基于CNN的检测器基线模型，揭示了关键错误模式并指明了未来研究方向。

ABSTRACT

In this paper we introduce the problem of Visual Semantic Role Labeling: given an image we want to detect people doing actions and localize the objects of interaction. Classical approaches to action recognition either study the task of action classification at the image or video clip level or at best produce a bounding box around the person doing the action. We believe such an output is inadequate and a complete understanding can only come when we are able to associate objects in the scene to the different semantic roles of the action. To enable progress towards this goal, we annotate a dataset of 16K people instances in 10K images with actions they are doing and associate objects in the scene with different semantic roles for each action. Finally, we provide a set of baseline algorithms for this task and analyze error modes providing directions for future work.

研究动机与目标

• 通过在图像中定位语义角色（施事者、工具、受事者）实现对动作的细粒度视觉理解，超越粗粒度活动分类。
• 解决现有数据集仅标注动作或对象、而未同时标注角色关联的局限性。
• 创建一个基准数据集，提供详细标注，将人物、动作和对象在语义角色中的关联关系明确标注，适用于复杂且杂乱的场景。
• 开发并评估联合检测施事者、动作分类和对象角色定位的基线算法。
• 分析失败模式，识别未来在视觉-语义定位研究中的关键挑战。

提出的方法

• 在10,000张COCO图像中对16,000个个体实例进行标注，每个实例标注26种动作类别之一，并与在语义角色（如施事者、工具、受事者）中关联的对象相关联。
• 采用两阶段检测流程：首先检测人物并分类其动作，然后通过区域提议和基于CNN的检测器定位特定语义角色中的对象。
• 设计一个完整模型（C），显式建模施事者与对象之间的形变关系，其定位精度优于不包含形变建模的基线模型（C₀）。
• 应用IoU（交并比）阈值，将检测错误划分为8种不同错误模式（如错误标签、定位错误、幻觉、错误配对）。
• 使用区域提议和CNN特征训练并评估四种基线模型，比较不同动作类别和错误类型下的性能表现。
• 以COCO数据集为测试平台，通过增加详细的动作和角色标注，支持未来在视觉-语义定位领域的研究。

实验结果

研究问题

• RQ1 如何超越粗粒度动作分类，实现在图像中对施事者及其关联对象的语义角色定位？
• RQ2 在检测施事者及其语义角色时，主要的失败模式是什么？如何对其进行定量分析？
• RQ3 建模施事者与对象之间的形变在多大程度上能提升视觉语义角色标注中的定位精度？
• RQ4 物体尺寸、姿态变化和背景杂乱程度如何影响角色定位的性能？
• RQ5 现有目标检测器在多大程度上可被适配以联合检测施事者、分类动作并为对象分配语义角色？

主要发现

• 基线模型中最主要的错误模式是错误的动作分类，表明准确动作识别仍是主要挑战。
• 对于‘ski’（滑雪）、‘surf’（冲浪）、‘skateboard’（滑板）和‘snowboard’（单板滑雪）等动作，对象定位错误尤为普遍，尤其当物体较小或部分遮挡时。
• 对于‘lay’（躺）等动作，‘person misloc’（人物定位错误）显著，原因在于其姿势异常或非标准。
• 当建模施事者与对象之间的形变后，‘mis pairing’（错误配对）错误减少，表明空间上下文信息具有显著优势。
• 在杂乱场景中，‘cut’（切）和‘hit-obj’（击打物体）等动作常在背景中产生对象幻觉，是主要问题。
• 包含形变建模的完整模型（C）在性能上优于基线模型（C₀），尤其在减少定位错误和配对错误方面表现更优。