[论文解读] PAN: Towards Fast Action Recognition via Learning Persistence of Appearance

Can Zhang, Yuexian Zou+2 more|arXiv (Cornell University)|Aug 8, 2020

Human Pose and Action Recognition参考文献 49被引用 32

一句话总结

PAN 提出了一个快速的端到端动作识别框架，用轻量级的 Appearance 持久性（PA）线索替代光流，并通过 Various-timescale Aggregation Pooling（VAP）来建模长期动态，从而实现具备强大准确性的实时性能。

ABSTRACT

Efficiently modeling dynamic motion information in videos is crucial for action recognition task. Most state-of-the-art methods heavily rely on dense optical flow as motion representation. Although combining optical flow with RGB frames as input can achieve excellent recognition performance, the optical flow extraction is very time-consuming. This undoubtably will count against real-time action recognition. In this paper, we shed light on fast action recognition by lifting the reliance on optical flow. Our motivation lies in the observation that small displacements of motion boundaries are the most critical ingredients for distinguishing actions, so we design a novel motion cue called Persistence of Appearance (PA). In contrast to optical flow, our PA focuses more on distilling the motion information at boundaries. Also, it is more efficient by only accumulating pixel-wise differences in feature space, instead of using exhaustive patch-wise search of all the possible motion vectors. Our PA is over 1000x faster (8196fps vs. 8fps) than conventional optical flow in terms of motion modeling speed. To further aggregate the short-term dynamics in PA to long-term dynamics, we also devise a global temporal fusion strategy called Various-timescale Aggregation Pooling (VAP) that can adaptively model long-range temporal relationships across various timescales. We finally incorporate the proposed PA and VAP to form a unified framework called Persistent Appearance Network (PAN) with strong temporal modeling ability. Extensive experiments on six challenging action recognition benchmarks verify that our PAN outperforms recent state-of-the-art methods at low FLOPs. Codes and models are available at: https://github.com/zhang-can/PAN-PyTorch.

研究动机与目标

• 通过减少对耗时光流的依赖来推动快速动作识别。
• 引入 Persistence of Appearance (PA) 作为一种聚焦于运动边界的高效运动线索。
• 开发一个轻量级的 PA 模块并将其与时序融合策略（VAP）集成以形成 PAN。
• 探索 PA 的两种编码方案并比较它们的性能与效率。
• 在时序主导与场景主导的动作数据集上验证 PAN 的有效性。

提出的方法

• 通过将亮度恒常性从图像空间扩展到特征空间，使用逐像素的特征差异来捕捉边界运动来定义 PA。
• 实现一个包含单个低级卷积层（8x7×7 过滤器）的 PA 模块，以从相邻帧生成 PA 离显图。
• 使用两种编码方案：e1（PA 作为运动模态）与 e2（PA 作为注意力）；e1 直接将 PA 输入到骨干网，e2 使用 PA 调制外观特征。
• 构建两种 PAN 变体：PAN Full（单独的 RGB 与 PA 分支，后续融合）与 PAN Lite（统一骨干处理拼接的 RGB+PA 输入）。
• 引入 Various-timescale Aggregation Pooling (VAP)，通过多尺度池化和跨时间尺度的自适应加权来融合长程时序信息。

实验结果

研究问题

• RQ1 PA（Persistence of Appearance）是否能比光流更高效地捕捉等效的运动信息以用于动作识别？
• RQ2 将 PA 与深度骨干网和全局时序融合策略（VAP）结合时，PA 如何促进时序建模？
• RQ3 哪一种 PA 编码方案在 PAN 中能实现更好的识别性能与效率？
• RQ4 PAN Full 与 PAN Lite 在时序主导与场景主导数据集上是否提供互补或权衡的性能？

主要发现

• PA 具有非常高的效率（8196 fps），在 UCF101 split 1 上达到强大的准确率（89.5%），在运行时超越了若干基于光流的方法，同时保持具有竞争力的准确性。
• 将 PA 编码为运动模态（e1）在准确性和效率上都优于将 PA 编码为注意力（e2），在 UCF101 上表现更好；e2 速度更慢且稍差一些。
• PAN Full 与 PAN Lite 在时序主导和场景主导数据集上都取得了强结果，验证了在不使用预计算光流的情况下实现快速动作识别的能力。
• VAP 通过多时间尺度的轻量化参数实现对长程时序的有效建模，提升了全视频层面的表征效果。
• 与传统光流方法（TV-L1、FlowNet 变体）相比，PA 提供了显著更高的速度和具有竞争力的准确性。