[论文解读] MultiSports: A Multi-Person Video Dataset of Spatio-Temporally Localized Sports Actions

Yixuan Li, Lei Chen+4 more|arXiv (Cornell University)|May 16, 2021

Human Pose and Action Recognition参考文献 59被引用 6

一句话总结

本文介绍了 MultiSports，这是一个大规模、多人视频数据集，用于时空动作检测，涵盖66种细粒度运动类别中的37,701个密集标注的动作实例，涉及篮球、排球、足球和艺术体操4项运动。该数据集强调真实、复杂的场景，具有明确的时间边界和多人交互，能够用于在具有挑战性的现实条件下评估最先进检测模型，这些模型在该数据集上的mAP得分显著低于以往基准，凸显了该数据集的难度。

ABSTRACT

Spatio-temporal action detection is an important and challenging problem in video understanding. The existing action detection benchmarks are limited in aspects of small numbers of instances in a trimmed video or low-level atomic actions. This paper aims to present a new multi-person dataset of spatio-temporal localized sports actions, coined as MultiSports. We first analyze the important ingredients of constructing a realistic and challenging dataset for spatio-temporal action detection by proposing three criteria: (1) multi-person scenes and motion dependent identification, (2) with well-defined boundaries, (3) relatively fine-grained classes of high complexity. Based on these guide-lines, we build the dataset of MultiSports v1.0 by selecting 4 sports classes, collecting 3200 video clips, and annotating 37701 action instances with 902k bounding boxes. Our datasets are characterized with important properties of high diversity, dense annotation, and high quality. Our Multi-Sports, with its realistic setting and detailed annotations, exposes the intrinsic challenges of spatio-temporal action detection. To benchmark this, we adapt several baseline methods to our dataset and give an in-depth analysis on the action detection results in our dataset. We hope our MultiSports can serve as a standard benchmark for spatio-temporal action detection in the future. Our dataset website is at https://deeperaction.github.io/multisports/.

研究动机与目标

• 为解决现有时空动作检测基准的局限性，这些基准通常仅包含单人动作、粗粒度类别或稀疏标注。
• 创建一个真实、高复杂度的基准，以捕捉多人、并发动作，具有明确的时间边界和细粒度动作类别。
• 提供一个高质量、多样化的数据集，适用于推进未剪辑视频中密集多人动作检测的研究。
• 建立一个标准基准，用于在真实、复杂条件下评估时空动作检测模型。

提出的方法

• 通过选择篮球、排球、足球和艺术体操这4项以高动作密度和复杂互动著称的运动来构建数据集。
• 采用两阶段标注流程：首先由专业运动员标注时间边界和动作类别；其次由众包标注员使用FCOT跟踪方法生成逐帧边界框。
• 所有视频均来自不同国家和表演水平的专业比赛的高分辨率录制，以确保视觉质量和多样性。
• 该数据集包含3,200段视频剪辑和902,000个边界框，涵盖66种细粒度动作类别，并为每个动作实例提供精确的起止时间戳。
• 标注过程包括严格的质控，以确保空间和时间标注的一致性并减少噪声。
• 对基线模型进行了调整以在 MultiSports 数据集上进行实证评估和错误分析，揭示了检测性能中的重大挑战。

实验结果

研究问题

• RQ1 当将最先进时空动作检测模型应用于类似 MultiSports 的真实、多人、高复杂度视频数据集时，其性能如何退化？
• RQ2 现有基准在多大程度上未能捕捉真实世界视频理解的真正挑战，原因在于动作类别过于简化或标注稀疏？
• RQ3 当前检测模型在面对密集动态场景中细粒度、并发动作时，其关键失败模式是什么？
• RQ4 运动动态、长期上下文以及人-物-场景交互如何影响复杂运动视频中的检测准确性？

主要发现

• MultiSports 数据集包含 37,701 个动作实例，分布在 3,200 段视频剪辑中，包含 902,000 个逐帧边界框和 66 种细粒度动作类别，是目前最全面的时空动作检测数据集之一。
• 在 MultiSports 上的帧 mAP 和视频 mAP 得分显著低于以往基准（如 J-HMDB 和 UCF101-24），证实了该数据集的更高难度。
• 错误分析显示，模型在区分相似动作（如传球与射门）以及检测具有细微运动线索的动作时表现最差，尤其是在人群密集的场景中。
• 并发动作以及球员与物体之间的复杂互动导致频繁出现误报和漏检，尤其是在快节奏序列中。
• 两阶段标注流程——先由专业运动员进行时间边界和类别标注，再由众包标注员生成边界框——产生了高质量、一致的标注，且噪声极少。
• 该数据集揭示了当前模型的关键局限性，特别是在时间定位和运动依赖性识别的处理方面，凸显了对改进长期建模和交互推理能力的迫切需求。