[论文解读] PV-NAS: Practical Neural Architecture Search for Video Recognition

Zihao Wang, Lin Chen+3 more|arXiv (Cornell University)|Nov 2, 2020

Human Pose and Action Recognition参考文献 41被引用 7

一句话总结

PV-NAS 提出了一种用于视频识别的实用可微神经架构搜索框架，通过基于梯度的优化方法高效探索一种新型时空搜索空间。通过引入一种定制的学习率调度器以增强架构多样性，PV-NAS 在保持显著降低的计算成本和模型参数量的同时，实现了最先进性能——在 Kinetics-400 上达到 78.7% 的 Top-1 准确率，在 Something-Something V2 上达到 62.5%，超越了如 TSM 等手工设计的模型。

ABSTRACT

Recently, deep learning has been utilized to solve video recognition problem due to its prominent representation ability. Deep neural networks for video tasks is highly customized and the design of such networks requires domain experts and costly trial and error tests. Recent advance in network architecture search has boosted the image recognition performance in a large margin. However, automatic designing of video recognition network is less explored. In this study, we propose a practical solution, namely Practical Video Neural Architecture Search (PV-NAS).Our PV-NAS can efficiently search across tremendous large scale of architectures in a novel spatial-temporal network search space using the gradient based search methods. To avoid sticking into sub-optimal solutions, we propose a novel learning rate scheduler to encourage sufficient network diversity of the searched models. Extensive empirical evaluations show that the proposed PV-NAS achieves state-of-the-art performance with much fewer computational resources. 1) Within light-weight models, our PV-NAS-L achieves 78.7% and 62.5% Top-1 accuracy on Kinetics-400 and Something-Something V2, which are better than previous state-of-the-art methods (i.e., TSM) with a large margin (4.6% and 3.4% on each dataset, respectively), and 2) among median-weight models, our PV-NAS-M achieves the best performance (also a new record)in the Something-Something V2 dataset.

研究动机与目标

• 解决人工设计视频网络带来的高计算成本和性能不佳的问题。
• 开发一种适用于视频识别任务的实用且可扩展的神经架构搜索方法。
• 克服基于梯度的 NAS 在视频架构搜索过程中陷入次优解的问题。
• 建立一个参考搜索空间和实现，以实现高效、可复现且高性能的视频模型发现。

提出的方法

• 设计一种混合搜索空间，结合四种单元类型：空间普通单元（S-NC）、空间下采样单元（S-RC）、时间普通单元（T-NC）和时间下采样单元（T-RC），以联合优化空间与时间特征提取。
• 采用类似 DARTS 的可微架构搜索方法，将架构参数松弛为连续变量，并通过梯度下降进行优化。
• 提出一种新颖的学习率调度器，每 20 个周期衰减一次学习率，以防止早期收敛并促进所搜索架构的多样性。
• 通过搜索空间的连续松弛，实现端到端训练和高效的架构优化。
• 在一致设置下（例如，使用 8 帧片段，不使用预训练）进行模型训练与评估，以确保公平比较和泛化能力评估。
• 在 UCF-101 上进行消融研究，以验证搜索策略的有效性，包括训练计划、通道缩放以及随机架构基线。

实验结果

研究问题

• RQ1 可微 NAS 框架能否在计算开销极低的前提下被有效适配于视频识别？
• RQ2 为何朴素的基于梯度的 NAS 在视频任务中难以收敛到高性能架构？优化动力学应如何改进？
• RQ3 一种显式分离空间与时间操作的搜索空间，是否能优于现有的 2D 或纯时间设计，从而生成更优的视频模型？
• RQ4 所搜索的架构是否能在无需微调或预训练的情况下在不同数据集上实现良好泛化？
• RQ5 与标准调度器相比，所提出的调度器在提升架构多样性和最终性能方面有何优势？

主要发现

• PV-NAS-L 在 Kinetics-400 上达到 78.7% 的 Top-1 准确率，参数量仅为 19.65M，在相似参数约束下比手工设计的 TSM 模型高出 4.6%。
• 在 Something-Something V2 数据集上，PV-NAS-L 在不使用 ImageNet 预训练的情况下达到 62.5% 的 Top-1 准确率，超越 TSM 3.4%。
• PV-NAS-M 在 Kinetics-400 上以 81.4% 的 Top-1 准确率创下新 SOTA 记录，超越 SlowFast 及其他先前方法。
• 消融研究证实，训练更多周期（如 80 个周期）可获得更优性能，验证了学习率调度策略的有效性。
• 在相同搜索空间内随机生成的网络性能显著偏低，证明性能提升源于架构搜索本身，而非仅依赖于搜索空间设计。
• 模型泛化能力出色：PV-NAS-L 在未进行预训练的情况下于 UCF-101 上实现强大的零样本迁移性能，从零开始训练时达到 66.43% 的 Top-1 准确率。