[论文解读] Temporal Sequence Distillation: Towards Few-Frame Action Recognition in Videos

Zhaoyang Zhang, Zhanghui Kuang+3 more|arXiv (Cornell University)|Aug 15, 2018

Human Pose and Action Recognition参考文献 22被引用 4

一句话总结

本文提出时间序列蒸馏（TSD），一种通过端到端3D卷积神经网络训练，将长视频序列蒸馏为紧凑且具有代表性的短序列的方法。TSD通过学习判别性时空表征，实现高精度少帧动作识别，将帧传输量减少高达50%，云侧浮点运算量（FLOPs）减少50%，同时在Kinetics和UCF101数据集上保持了最先进水平的准确率。

ABSTRACT

Video Analytics Software as a Service (VA SaaS) has been rapidly growing in recent years. VA SaaS is typically accessed by users using a lightweight client. Because the transmission bandwidth between the client and cloud is usually limited and expensive, it brings great benefits to design cloud video analysis algorithms with a limited data transmission requirement. Although considerable research has been devoted to video analysis, to our best knowledge, little of them has paid attention to the transmission bandwidth limitation in SaaS. As the first attempt in this direction, this work introduces a problem of few-frame action recognition, which aims at maintaining high recognition accuracy, when accessing only a few frames during both training and test. Unlike previous work that processed dense frames, we present Temporal Sequence Distillation (TSD), which distills a long video sequence into a very short one for transmission. By end-to-end training with 3D CNNs for video action recognition, TSD learns a compact and discriminative temporal and spatial representation of video frames. On Kinetics dataset, TSD+I3D typically requires only 50\% of the number of frames compared to I3D, a state-of-the-art video action recognition algorithm, to achieve almost the same accuracies. The proposed TSD has three appealing advantages. Firstly, TSD has a lightweight architecture and can be deployed in the client, eg. mobile devices, to produce compressed representative frames to save transmission bandwidth. Secondly, TSD significantly reduces the computations to run video action recognition with compressed frames on the cloud, while maintaining high recognition accuracies. Thirdly, TSD can be plugged in as a preprocessing module of any existing 3D CNNs. Extensive experiments show the effectiveness and characteristics of TSD.

研究动机与目标

• 通过实现最小帧传输量下的高精度动作识别，解决视频分析即服务（VA SaaS）中的带宽与计算成本问题。
• 开发一种从长输入视频中学习紧凑且具有代表性的视频序列的方法，同时保留判别性时空特征。
• 实现在轻量化客户端（如移动设备）上部署蒸馏模型，以减少数据传输与服务端计算量。
• 即使仅传输少量帧，也能保持高识别准确率。
• 提供可与现有3D CNN（如I3D）无缝集成的即插即用预处理模块，实现真实世界VA SaaS流水线中的高效部署。

提出的方法

• TSD采用端到端训练流程，使用3D CNN主干网络（如I3D）学习将长视频序列压缩为短而具有代表性的序列。
• 该方法包含一个粗粒度特征提取器和一个时间序列蒸馏模块，两者协同学习以识别与动作类别相关的关键帧。
• TSD通过知识蒸馏进行训练，模型仅使用帧的子集来模仿完整视频片段的3D CNN输出。
• 通过聚焦于与动作相关的帧，蒸馏过程保留了时间动态与空间上下文，减少冗余同时保持判别能力。
• 该框架具有模块化设计，可作为任何3D CNN之前的预处理步骤插入，实现与现有模型的兼容性。
• 推理阶段，客户端运行TSD生成紧凑帧序列，随后将该序列传输至云端完成最终分类。

实验结果

研究问题

• RQ1 能否通过端到端方式学习到紧凑且具有代表性的视频序列，在最小帧传输量下仍保持高动作识别准确率？
• RQ2 在标准基准上，TSD与均匀采样及其他帧选择策略相比，在准确率与效率方面表现如何？
• RQ3 在VA SaaS场景中，TSD在不牺牲识别性能的前提下，能在多大程度上减少数据传输与计算成本？
• RQ4 TSD能否在客户端设备上有效部署，并与现有3D CNN（如I3D）实现良好集成？
• RQ5 在不同数据集与模型配置下，帧数减少、计算节省与准确率之间的权衡关系如何？

主要发现

• 在Kinetics数据集上，I3D+TSD仅使用120帧传输即达到72.4%的准确率，较I3D的250帧减少了50%的传输量，同时性能相当。
• 当将帧传输量减少至60帧时，I3D+TSD达到70.7%的准确率，优于基线I3D在40帧时的68.4%，且云侧FLOPs减少51%。
• 在UCF101数据集上，当仅采样5帧时，I3D+TSD相比I3D准确率提升7.7%，展现出在少帧场景下的优异性能。
• 即使模型参数量增加33%，I3D+TSD相比I3D仍能将云侧FLOPs减少高达50%，推理时间减少高达48%。
• 该方法在不同片段数量与帧采样率下均保持一致的性能增益，表现出良好的鲁棒性与可扩展性。
• TSD在客户端侧的部署显著降低了传输带宽与云侧计算量，使其在实时VA SaaS应用中极具适用性。