[论文解读] Towards Real-Time Action Recognition on Mobile Devices Using Deep Models

Chen-Lin Zhang, Xinxin Liu+1 more|arXiv (Cornell University)|Jun 17, 2019

Human Pose and Action Recognition参考文献 34被引用 8

一句话总结

本文提出了一种用于移动设备的实时动作识别框架，采用高效的深度学习模型，结合时间移位模块（TSM）和挤压-激励（SE）模块，在仅消耗六分之一的FLOPs和推理时间的情况下实现了最先进（SOTA）的准确率。该工作首次成功将深度动作识别模型部署于移动手机，实现在华为Mate 10手机上实现约10 FPS的性能，用于手势识别。

ABSTRACT

Action recognition is a vital task in computer vision, and many methods are developed to push it to the limit. However, current action recognition models have huge computational costs, which cannot be deployed to real-world tasks on mobile devices. In this paper, we first illustrate the setting of real-time action recognition, which is different from current action recognition inference settings. Under the new inference setting, we investigate state-of-the-art action recognition models on the Kinetics dataset empirically. Our results show that designing efficient real-time action recognition models is different from designing efficient ImageNet models, especially in weight initialization. We show that pre-trained weights on ImageNet improve the accuracy under the real-time action recognition setting. Finally, we use the hand gesture recognition task as a case study to evaluate our compact real-time action recognition models in real-world applications on mobile phones. Results show that our action recognition models, being 6x faster and with similar accuracy as state-of-the-art, can roughly meet the real-time requirements on mobile devices. To our best knowledge, this is the first paper that deploys current deep learning action recognition models on mobile devices.

研究动机与目标

• 重新定义移动设备上实时动作识别的推理设置，与采用大量数据增强的典型服务器端设置形成鲜明对比。
• 在移动硬件的实时约束条件下，对最先进动作识别模型进行实证评估。
• 设计紧凑且高效的模型，在显著降低FLOPs和延迟的同时保持高准确率，以实现端侧部署。
• 在真实移动应用场景中验证该方法，特别是针对手势识别任务。
• 为高效实时动作识别模型提供新的设计洞见，其设计原则与ImageNet模型优化方法存在本质差异。

提出的方法

• 选用MnasNet作为基础架构，因其具备高效性与移动端适用性。
• 集成时间移位模块（TSM），以零FLOP成本实现帧间特征交互，增强时序建模能力。
• 引入挤压-激励（SE）模块，对通道维度的特征响应进行重校准，提升表征能力。
• 采用ImageNet与Kinetics联合预训练策略，以提升在实时约束下的泛化能力与准确率。
• 在Jester数据集上对模型进行微调，使用25个周期并配合学习率衰减策略，以实现手势识别。
• 在两种输入模式下评估模型：8帧剪辑的批量处理方式，以及逐帧输入以模拟实时推理。

实验结果

研究问题

• RQ1 在无大量数据增强的实时移动端推理设置下，最先进动作识别模型的性能如何变化？
• RQ2 预训练的ImageNet权重在提升移动端实时动作识别准确率方面起到何种作用？
• RQ3 在紧凑模型中，TSM与SE等附加模块如何影响准确率、FLOPs与推理延迟？
• RQ4 能否有效将为图像分类设计的高效模型适配至移动端视频动作识别任务？
• RQ5 高效ImageNet模型与高效实时动作识别模型在模型设计原则上的关键差异是什么？

主要发现

• MnasNet结合TSM与SE模块在Kinetics验证集上达到66.5%的top-1准确率，相比基线MnasNet（60.7%）提升了5.8%，且仅消耗六分之一的FLOPs与推理时间。
• 在ImageNet与Kinetics上均进行预训练的模型优于仅在Kinetics上预训练的模型；在实时设置下，Kinetics准确率与ImageNet准确率呈现强相关性。
• 紧凑模型中过拟合问题尤为严重，这与ImageNet设置下的发现相反——在ImageNet设置中过拟合现象不那么显著。
• 如Inception等分支结构虽有效，但在移动设备上即使FLOP数量相近，仍导致较高的CPU延迟。
• 在HUAWEI Mate 10上采用逐帧推理方式，实现约10 FPS（每帧90.24ms延迟），满足手势识别的实时性要求。
• 所提模型在Jester数据集上达到93.7%的准确率，延迟仅为ResNet-50的20%，FLOPs仅为10%，展现出优异的效率-准确率权衡。