[论文解读] RGB Stream Is Enough for Temporal Action Detection

Chenhao Wang, Hongxiang Cai+2 more|arXiv (Cornell University)|Jul 9, 2021

Human Pose and Action Recognition参考文献 59被引用 18

一句话总结

该论文表明，光学流对高精度时序动作检测并非必要，证明仅使用RGB流并结合图像级数据增强（ILDA）即可实现最先进性能。所提出的单阶段检测器DaoTAD在GTX 1080 Ti上实现6668 fps的推理速度，同时在THUMOS14数据集上达到与双流模型相当的精度。

ABSTRACT

State-of-the-art temporal action detectors to date are based on two-stream input including RGB frames and optical flow. Although combining RGB frames and optical flow boosts performance significantly, optical flow is a hand-designed representation which not only requires heavy computation, but also makes it methodologically unsatisfactory that two-stream methods are often not learned end-to-end jointly with the flow. In this paper, we argue that optical flow is dispensable in high-accuracy temporal action detection and image level data augmentation (ILDA) is the key solution to avoid performance degradation when optical flow is removed. To evaluate the effectiveness of ILDA, we design a simple yet efficient one-stage temporal action detector based on single RGB stream named DaoTAD. Our results show that when trained with ILDA, DaoTAD has comparable accuracy with all existing state-of-the-art two-stream detectors while surpassing the inference speed of previous methods by a large margin and the inference speed is astounding 6668 fps on GeForce GTX 1080 Ti. Code is available at \url{https://github.com/Media-Smart/vedatad}.

研究动机与目标

• 挑战光学流对高精度时序动作检测必不可少的假设。
• 探究图像级数据增强（ILDA）是否能补偿单流模型中缺乏光学流的问题。
• 设计一种仅基于RGB输入、快速高效的单阶段时序动作检测器，其性能与双流模型相当。
• 证明仅在RGB上进行端到端训练并结合ILDA，可在不损失精度的前提下显著提升推理速度，优于双流方法。

提出的方法

• 提出DaoTAD，一种基于单个RGB流的单阶段时序动作检测器，其设计灵感源自目标检测中的RetinaNet。
• 采用图像级数据增强（ILDA），包括随机裁剪、颜色抖动、Mixup和Cutout，以增强特征泛化能力，并防止因缺少光学流而导致的性能下降。
• 引入空间压缩模块（SRM），利用平均池化在保持时间动态特性的同时压缩3D特征图的空间维度。
• 使用可学习的一维卷积实现的时间下采样模块（TDM），以生成多尺度的时间特征金字塔。
• 采用可学习的锚框设置，每个位置设置5个锚框，以更好地平衡不同尺度上的正样本分布。
• 训练过程中仅冻结ResNet-50 I3D主干网络的前2个阶段，以保留低层特征并减少过拟合。

实验结果

研究问题

• RQ1 仅使用单个RGB流检测器是否能在无光学流的情况下实现时序动作检测的最先进性能？
• RQ2 图像级数据增强（ILDA）在无光学流条件下实现高性能中起到何种作用？
• RQ3 锚框设置与特征金字塔模块的设计如何影响单流模型的检测精度？
• RQ4 基于RGB流的单阶段检测器是否能显著快于现有双流方法的推理速度？
• RQ5 仅在RGB上进行端到端训练是否足以实现与双流模型相当或更优的精度？

主要发现

• 在ILDA训练下，DaoTAD在THUMOS14数据集上以[0.3:0.1:0.7] IoU的平均mAP达到42.5%，与最先进双流检测器性能相当。
• 若不使用ILDA，mAP从42.5%降至37.1%，证明ILDA对补偿缺乏光学流至关重要。
• 仅使用随机裁剪相比其他增强方法可使mAP提升3.3%，且四种ILDA技术具有高度互补性。
• DaoTAD在GeForce GTX 1080 Ti上实现6668 fps的推理速度，显著优于先前方法。
• 每个位置使用5个锚框相比RetinaNet默认的3个锚框性能更优，原因在于其在不同尺度上实现了更均衡的正样本分配。
• 时间下采样模块（TDM）的最优通道数为512；若增至1024则导致过拟合并引起性能下降。