[论文解读] ReActNet: Temporal Localization of Repetitive Activities in Real-World Videos

Giorgos Karvounas, Iason Oikonomidis+1 more|arXiv (Cornell University)|Oct 14, 2019

Human Pose and Action Recognition被引用 7

一句话总结

ReActNet 通过利用预训练卷积神经网络（如 VGG19 或 I3D）提取的深度特征，构建帧对之间的成对帧距离矩阵，提出了一种新颖的方法来建模真实世界视频中重复活动的时间定位。该方法使用轻量级 CNN 将帧分类为重复或非重复，即使在标注数据有限的情况下，也能在多个数据集上实现最先进的性能，并展现出强大的泛化能力。

ABSTRACT

We address the problem of temporal localization of repetitive activities in a video, i.e., the problem of identifying all segments of a video that contain some sort of repetitive or periodic motion. To do so, the proposed method represents a video by the matrix of pairwise frame distances. These distances are computed on frame representations obtained with a convolutional neural network. On top of this representation, we design, implement and evaluate ReActNet, a lightweight convolutional neural network that classifies a given frame as belonging (or not) to a repetitive video segment. An important property of the employed representation is that it can handle repetitive segments of arbitrary number and duration. Furthermore, the proposed training process requires a relatively small number of annotated videos. Our method raises several of the limiting assumptions of existing approaches regarding the contents of the video and the types of the observed repetitive activities. Experimental results on recent, publicly available datasets validate our design choices, verify the generalization potential of ReActNet and demonstrate its superior performance in comparison to the current state of the art.

研究动机与目标

• 解决在真实世界视频中定位重复活动的挑战，其中运动模式是非平稳的，且在持续时间和执行方式上各不相同。
• 设计一种方法，能够检测任意数量和持续时间的重复片段，而无需对周期性或运动类型做出先验假设。
• 通过仅使用少量标注视频即可实现有效训练，从而减少对大规模标注数据集的依赖。
• 提升在不同视频数据集之间的泛化能力，尤其是在训练和测试数据在内容分布上存在差异的情况下。
• 为下游任务（如重复次数计数）提供稳健的基础，通过准确地定位重复片段。

提出的方法

• 该方法将视频表示为通过预训练卷积神经网络（如 VGG19 或 I3D）提取的深度特征计算出的成对帧距离矩阵。
• 帧表示由卷积神经网络生成，帧对之间的距离被计算以捕捉时间关系。
• ReActNet 是一种轻量级一维卷积神经网络，基于距离矩阵将每个帧分类为属于重复片段或不属于重复片段。
• 网络通过二元交叉熵损失端到端训练，以逐帧预测重复/非重复标签。
• 该方法对绝对时间不敏感，能够处理可变长度的重复动作，包括多个非重叠的片段。
• 使用标准指标（召回率 R、精确率 P、F1 分数 F1 和重叠率 O）进行评估，并通过跨数据集验证来评估泛化能力。

实验结果

研究问题

• RQ1 深度学习模型能否在任意持续时间和片段数的现实世界视频中有效定位重复活动？
• RQ2 与原始光流或运动轨迹相比，使用成对帧距离矩阵是否能提升定位的鲁棒性？
• RQ3 ReActNet 在内容多样性与标注质量各不相同的多个数据集之间泛化能力如何？
• RQ4 该方法在保持高性能的同时，对大规模标注数据集的依赖程度降低到何种程度？
• RQ5 所提出的表示方法与网络架构是否能在内部数据集和跨数据集评估中均优于现有最先进方法？

主要发现

• 当在相同数据集上进行训练和测试时，ReActNet 在 QUVA 数据集上达到 88.5% 的平均 F1 分数，在 PERTUBE 数据集上也达到 88.5%，优于先前的 SOTA 方法。
• 在跨数据集评估中，ReActNet 在 PERTUBE 上训练并在 QUVA 上测试，F1 分数为 88.5%，重叠率为 80.3%，相比先前 SOTA 方法在重叠率上提升了 18%。
• 即使使用较弱的 ReActNet 变体（采用 IDT 特征），其性能仍优于先前 SOTA 方法的最佳变体，表明该方法对特征选择具有鲁棒性。
• 当在内容多样性较低的 QUVA 数据集上训练并在 PERTUBE 上测试时，模型在不同数据集之间表现出良好的泛化能力，仅出现小幅性能下降。
• 结果表明，所提出的距离矩阵表示能够有效检测复杂、多片段的重复活动，尤其在存在重叠或可变持续时间重复的视频中表现优异。
• 该方法在训练数据有限的情况下仍保持强劲性能，凸显其样本效率及在真实世界部署中的潜力。