[论文解读] SlowFast Networks for Video Recognition

Christoph Feichtenhofer, Haoqi Fan+2 more|arXiv (Cornell University)|Dec 10, 2018

Human Pose and Action Recognition参考文献 54被引用 143

一句话总结

本文提出 SlowFast，一种用于视频识别的双路径网络，Slow 路径以低帧率处理语义，Fast 路径在高帧率处理运动，通过侧向连接连接，在无需光流的情况下，在 Kinetics、Charades 和 AVA 上达到最先进水平。

ABSTRACT

We present SlowFast networks for video recognition. Our model involves (i) a Slow pathway, operating at low frame rate, to capture spatial semantics, and (ii) a Fast pathway, operating at high frame rate, to capture motion at fine temporal resolution. The Fast pathway can be made very lightweight by reducing its channel capacity, yet can learn useful temporal information for video recognition. Our models achieve strong performance for both action classification and detection in video, and large improvements are pin-pointed as contributions by our SlowFast concept. We report state-of-the-art accuracy on major video recognition benchmarks, Kinetics, Charades and AVA. Code has been made available at: https://github.com/facebookresearch/SlowFast

研究动机与目标

• 通过将空间语义和运动分离为两个路径，激发并利用视频信号中的时序不对称性。
• 开发一个两路径架构（Slow 和 Fast），具有不同的时间速度和通道容量。
• 通过侧向连接融合路径表示，以在保持计算高效的同时提升视频识别性能。
• 在不在 ImageNet 预训练的情况下，展示对主要基准的最先进性能。
• 提供广泛的消融实验来理解 Fast 路径和融合机制的贡献。

提出的方法

• 提出 SlowFast 架构，包含 Slow 路径（低帧率，广义空间语义）和 Fast 路径（高帧率，轻量级，聚焦于运动）。
• 在 Slow 路径中使用较大的时间步长 tau，以对少量帧进行采样并在前几层保持空间分辨率。
• 以 α 倍的更高时间分辨率和 β 通道容量运行 Fast 路径，保持其轻量级（约 FLOPs 的 20%）。
• 通过多阶段的侧向连接在两个路径之间融合，以对齐时空特征。
• 避免显式光流；从原始视频数据端到端训练；在 Kinetics、Charades 和 AVA 上使用多种骨干网络（如 ResNet 变体）以及在消融实验中进行评估。

实验结果

研究问题

• RQ1 具有不同时间速度的双路径架构是否能将视频识别提升超过单一路径模型？
• RQ2 当 Fast 路径轻量且聚焦于运动而不是空间细节时，它如何对识别做出贡献？
• RQ3 Slow 与 Fast 路径之间有哪些有效的融合策略（侧向连接），以及通道和时间配置如何影响性能？
• RQ4 是否可能在没有 ImageNet 预训练或光流输入的情况下实现最先进的结果？
• RQ5 与动作分类基准相比，SlowFast 模型在动作检测任务（AVA）上的表现如何？

主要发现

• SlowFast 模型在 Kinetics-400、Kinetics-600、Charades 和 AVA 等多种骨干与输入采样下达到最先进的准确率。
• 在 Kinetics-400 上，SlowFast 16x8，ResNet-101 加上 Non-local 模块在 30 视图下达到 Top-1 79.8% 和 Top-5 93.9%，FLOPs 234 GFLOPs。
• 在 Charades，SlowFast 16x8，ResNet-101 获得 42.1 mAP（基线 Slow-only 39.0，+NL 提升至 42.5，Kin400 预训练后，Kin600 预训练后提升至 45.2）。
• Slow 路径单独很强，但 SlowFast 融合在消融实验中始终优于仅 Slow，Top-1 准确率提升约 3.0 个百分点。
• 从零开始训练（没有 ImageNet 预训练）并使用相同骨干也可获得有竞争力的结果，例如 SlowFast 3D-ResNet-50 从零开始达到 73.5% Top-1，而先前方案为 69.4%。
• Fast 路径，即使通道容量很低（β 低至 1/32），也能带来有意义的增益（例如 Top-1 提升 1.6%，FLOPs 增加非常小）。