[论文解读] Temporal Pyramid Network for Action Recognition

Ceyuan Yang, Yinghao Xu+3 more|arXiv (Cornell University)|Apr 7, 2020

Human Pose and Action Recognition参考文献 46被引用 23

一句话总结

本文提出一种通用的时间金字塔网络（TPN），在特征层面捕捉动作实例的视觉节奏，使2D和3D主干网络能够在不使用输入级帧金字塔的情况下识别不同时间尺度下的动作。TPN在Kinetics-400数据集上使用3D ResNet-50时实现了2%的准确率提升，尤其在视觉节奏方差较高的动作类别上表现最强，验证了其在建模动态时间动态方面的有效性。

ABSTRACT

Visual tempo characterizes the dynamics and the temporal scale of an action. Modeling such visual tempos of different actions facilitates their recognition. Previous works often capture the visual tempo through sampling raw videos at multiple rates and constructing an input-level frame pyramid, which usually requires a costly multi-branch network to handle. In this work we propose a generic Temporal Pyramid Network (TPN) at the feature-level, which can be flexibly integrated into 2D or 3D backbone networks in a plug-and-play manner. Two essential components of TPN, the source of features and the fusion of features, form a feature hierarchy for the backbone so that it can capture action instances at various tempos. TPN also shows consistent improvements over other challenging baselines on several action recognition datasets. Specifically, when equipped with TPN, the 3D ResNet-50 with dense sampling obtains a 2% gain on the validation set of Kinetics-400. A further analysis also reveals that TPN gains most of its improvements on action classes that have large variances in their visual tempos, validating the effectiveness of TPN.

研究动机与目标

• 解决现有视频动作识别模型中缺乏对视觉节奏方差的显式建模问题。
• 在不使用昂贵的多分支输入级帧采样金字塔的情况下，实现对具有多样化时间动态（包括类间和类内差异）动作的识别。
• 开发一种即插即用模块，通过在特征层面聚合多个时间尺度的特征，增强2D和3D主干网络。
• 通过实证验证，TPN在视觉节奏方差较高的动作类别上性能提升最为显著。

提出的方法

• 通过融合单个主干网络不同深度的特征，构建特征级时间金字塔，避免在输入层面以多种速率采样帧。
• 采用分层特征融合策略，结合主干网络多个阶段的特征，以捕捉快速和慢速节奏的动态。
• 使用逐帧分类概率曲线的半高全宽（FWHM）作为衡量每个动作实例视觉节奏方差的代理指标。
• 将TPN作为辅助模块应用于2D和3D模型（如I3D、ResNet-50），无需修改网络架构，实现即插即用的集成。
• 采用多尺度推理协议，通过在不同步长下重采样输入帧，评估模型对视觉节奏变化的鲁棒性。
• 应用最小二乘逼近法，量化性能提升与动作类别间视觉节奏方差之间的相关性。

实验结果

研究问题

• RQ1 是否可以通过特征级时间金字塔在不依赖多分支输入级帧金字塔的情况下提升动作识别准确率？
• RQ2 TPN是否在多种2D和3D主干网络架构上均表现出一致的性能提升？
• RQ3 TPN的性能提升是否在视觉节奏方差较高的动作类别上最为显著？
• RQ4 TPN对输入视觉节奏的变化（如不同演员速度引起的差异）是否具有鲁棒性？
• RQ5 TPN能否有效建模真实世界动作数据集中存在的类内与类间视觉节奏差异？

主要发现

• 当与3D ResNet-50结合使用密集采样（32×2）时，TPN在Kinetics-400验证集上实现了2%的准确率提升。
• TPN的性能增益在视觉节奏方差较高的动作类别上最为显著，准确率增益与节奏方差之间存在正相关关系。
• I3D-50 + TPN在不同帧采样率（如8×2至8×16）下表现出更强的鲁棒性，性能下降幅度小于基线模型。
• 基于模型的FWHM测量方法能有效捕捉视觉节奏方差，其中“空翻”动作的方差最高，“剪羊毛”最低。
• 即使在更密集的输入采样（32×2）下，I3D-50模型易出现过拟合，但引入TPN后可缓解过拟合，保持一致的性能增益。
• 消融实验证实，TPN的性能提升源于其在单一模型中建模多样化视觉节奏的能力，而非单纯依赖架构改进。