[论文解读] Video Action Recognition Via Neural Architecture Searching

Wei Peng, Xiaopeng Hong+1 more|arXiv (Cornell University)|Jul 10, 2019

Human Pose and Action Recognition参考文献 22被引用 4

一句话总结

该论文提出了首个用于视频动作识别的神经架构搜索（NAS）框架，采用可微分的连续搜索空间，以有向无环图（DAG）形式建模，结合伪3D算子，高效探索时空架构。该方法在UCF101数据集上仅用0.67M参数即达到58.6%的准确率，相比更大的人工设计模型3D-ConvNet（79M参数）准确率高出7%，且参数量仅为后者的约1%。

ABSTRACT

Deep neural networks have achieved great success for video analysis and understanding. However, designing a high-performance neural architecture requires substantial efforts and expertise. In this paper, we make the first attempt to let algorithm automatically design neural networks for video action recognition tasks. Specifically, a spatio-temporal network is developed in a differentiable space modeled by a directed acyclic graph, thus a gradient-based strategy can be performed to search an optimal architecture. Nonetheless, it is computationally expensive, since the computational burden to evaluate each architecture candidate is still heavy. To alleviate this issue, we, for the video input, introduce a temporal segment approach to reduce the computational cost without losing global video information. For the architecture, we explore in an efficient search space by introducing pseudo 3D operators. Experiments show that, our architecture outperforms popular neural architectures, under the training from scratch protocol, on the challenging UCF101 dataset, surprisingly, with only around one percentage of parameters of its manual-design counterparts.

研究动机与目标

• 自动化设计高性能时空神经架构用于视频动作识别，减少对专家工程的依赖。
• 通过引入时间片段策略和高效的伪3D算子，降低视频任务中NAS的高计算成本。
• 在连续空间中实现端到端、可微分的架构搜索，支持基于梯度的优化。
• 在从零开始训练的协议下实现最先进性能，同时显著减小模型尺寸。

提出的方法

• 将搜索空间建模为有向无环图（DAG），其中每条边关联一组候选算子，通过可学习的架构参数α实现算子选择的可微分性。
• 采用无代理搜索策略：训练一个浅层网络并共享权重，以评估架构性能，避免昂贵的重新训练。
• 引入类似时间片段网络（TSN）的输入处理方案，采用Ns=4个片段和每个片段Nr=2个随机裁剪，以减少计算量同时保留全局视频上下文。
• 在搜索空间中使用伪3D算子（如深度可分离卷积、空洞卷积），通过解耦空间与时间操作实现高效性。
• 对架构参数α应用Softmax，为每个节点选择Top-2连接，并为每条连接选择最重要算子，形成离散的最终架构。
• 使用搜索得到的架构从零开始训练最终网络，网络深度为6，输入分辨率为112×112，并采用600个周期的余弦退火学习率调度。

实验结果

研究问题

• RQ1 神经架构搜索能否有效应用于视频动作识别，以自动化设计时空架构？
• RQ2 如何在不牺牲性能的前提下降低视频模型NAS的计算成本？
• RQ3 具有伪3D算子的可微分连续搜索空间能否在更少参数下生成优于人工设计的架构？
• RQ4 在标准基准上从零开始训练时，所提方法是否优于人工设计的模型？

主要发现

• 所提出的NAS方法在UCF101数据集split 1上达到58.6%的top-1准确率，相比3D-ConvNet（51.6%）高出7个百分点，且参数量仅为0.67M。
• 所搜索的架构大小约为3D-ConvNet（79M参数）的1%，展现出显著的模型尺寸缩减，同时获得显著的准确率提升。
• 该方法在从零开始训练的协议下实现最先进性能，无需ImageNet预训练。
• 搜索过程在单张V100 GPU上耗时25小时，具备实际部署的可行性。
• 最终架构倾向于感受野更大的算子，如空洞卷积和深度可分离卷积，表明有效归纳偏置的学习。
• 性能增益在多个评估指标上保持一致，所搜索模型在准确率和参数效率方面均显著优于3D-ResNet18、3D-ResNet101和STC-ResNet变体。