[论文解读] TransRAC: Encoding Multi-scale Temporal Correlation with Transformers for Repetitive Action Counting

Huazhang Hu, Sixun Dong+4 more|arXiv (Cornell University)|Apr 3, 2022

Human Pose and Action Recognition被引用 4

一句话总结

本文提出 TransRAC，一种基于 Transformer 的重复动作计数方法，通过编码多尺度时间相关性，提升在具有中断或周期不一致的长时真实视频上的性能。该工作引入了一个新的大规模数据集 RepCount，包含细粒度周期标注，并采用密度图回归进行可解释的周期预测，在多个数据集上取得最先进性能，包括在未见数据上的零样本泛化能力。

ABSTRACT

Counting repetitive actions are widely seen in human activities such as physical exercise. Existing methods focus on performing repetitive action counting in short videos, which is tough for dealing with longer videos in more realistic scenarios. In the data-driven era, the degradation of such generalization capability is mainly attributed to the lack of long video datasets. To complement this margin, we introduce a new large-scale repetitive action counting dataset covering a wide variety of video lengths, along with more realistic situations where action interruption or action inconsistencies occur in the video. Besides, we also provide a fine-grained annotation of the action cycles instead of just counting annotation along with a numerical value. Such a dataset contains 1,451 videos with about 20,000 annotations, which is more challenging. For repetitive action counting towards more realistic scenarios, we further propose encoding multi-scale temporal correlation with transformers that can take into account both performance and efficiency. Furthermore, with the help of fine-grained annotation of action cycles, we propose a density map regression-based method to predict the action period, which yields better performance with sufficient interpretability. Our proposed method outperforms state-of-the-art methods on all datasets and also achieves better performance on the unseen dataset without fine-tuning. The dataset and code are available.

研究动机与目标

• 解决现有重复动作计数方法在具有中断或周期不一致的长时真实视频中的局限性。
• 通过引入细粒度周期级标注而非仅数值计数，开发更可解释且更准确的模型。
• 创建一个大规模、真实的基准数据集（RepCount），涵盖多样的视频长度和异常情况，以更好地评估和训练模型。
• 通过利用 Transformer 的多尺度时间相关性，平衡模型性能与效率。
• 通过改进的时间建模与架构设计，实现在未见数据集上的零样本泛化能力。

提出的方法

• 该方法采用基于自注意力机制的多尺度时间相关性编码器，以建模不同时间尺度上的长程依赖关系。
• 引入密度图回归头以预测动作周期，相比标准分类头，能实现更可解释且更精确的重复周期定位。
• 模型采用多列架构，不同感受野用于捕捉多尺度时间模式，通过特征融合提升鲁棒性。
• 自注意力机制动态计算相关性矩阵，优于固定相似度函数（如 TSM，即时间自相似矩阵）。
• 该架构在包含 1,451 个视频和约 20,000 个细粒度周期标注的 RepCount 数据集上进行端到端训练。
• 采用 MAE（平均绝对误差）和 OBO（总体最佳重叠）指标进行评估，表现出优越性能与零样本泛化能力。

实验结果

研究问题

• RQ1 基于 Transformer 的模型能否有效捕捉长时真实视频中重复动作计数的多尺度时间相关性？
• RQ2 与仅提供数值计数相比，细粒度周期级标注是否能提升模型的可解释性与性能？
• RQ3 密度图回归头是否在预测重复动作周期方面优于标准分类头？
• RQ4 多尺度建模在动作中断或周期不一致的情况下，如何提升性能与鲁棒性？
• RQ5 所提方法是否能在无需微调的情况下泛化到未见数据集，表明其具备更强的泛化能力？

主要发现

• 在 RepCount 数据集的 Part-A 测试集上，TransRAC 实现 MAE 为 0.4431，OBO 为 0.2913，优于最先进方法。
• 使用自注意力机制计算相关性矩阵，性能优于基于 TSM 的相似度函数，将 MAE 降低 0.1247。
• 将分类头替换为密度图回归头可显著提升性能，将 MAE 从 0.9950（ResNet+CLS）降低至 0.6905（ResNet+DM）。
• 多尺度建模（Ours (Multi)）实现最佳性能（MAE: 0.4431），优于单尺度变体。
• 模型在未见数据集上无需微调即可实现良好泛化，展现出强大的零样本泛化能力。
• 所提出的 RepCount 数据集包含 1,451 个视频和约 20,000 个细粒度周期标注，为重复动作计数提供了更真实且更具挑战性的基准。